Size: a a a

2020 August 23

AD

Andrew Derkach in Unreal Engine
Neyl
Благодарю) Почитаю что это за штуковина.
Генерально она нужна чтобы сконструировать объект в заранее выделенном куске памяти
источник

AB

Alex Bugaev in Unreal Engine
Всем привет! Есть идеи как с HTML-страницы отправить микрофонный поток из GetUserMedia() внутрь AudioCapture или более подходящего компонента аудио? Хочу микрофонный звук с Pixel Streaming’овой страницы отправлять в игру.
источник

EB

Egor Bogomyakov in Unreal Engine
Alex Bugaev
Всем привет! Есть идеи как с HTML-страницы отправить микрофонный поток из GetUserMedia() внутрь AudioCapture или более подходящего компонента аудио? Хочу микрофонный звук с Pixel Streaming’овой страницы отправлять в игру.
Сжать и пустить по websocket? Если длина потока небольшая, прокатит
источник

EB

Egor Bogomyakov in Unreal Engine
по крайней мере, таким образом реализовал голосовое управление в pixel streaming проекте :) только захват с телефона делался. Но там были команды уровня "hello" и "I want to buy <слово>"
источник

AB

Alex Bugaev in Unreal Engine
Egor Bogomyakov
по крайней мере, таким образом реализовал голосовое управление в pixel streaming проекте :) только захват с телефона делался. Но там были команды уровня "hello" и "I want to buy <слово>"
То есть что-то вроде рации: отрезки аудио по паре секунд? Думаю, такое может сработать. Можете чуть подробнее рассказать про техническую реализацию?
источник

EB

Egor Bogomyakov in Unreal Engine
Alex Bugaev
То есть что-то вроде рации: отрезки аудио по паре секунд? Думаю, такое может сработать. Можете чуть подробнее рассказать про техническую реализацию?
из-за коротких команд даже на отрезки делить не приходилось. Думаю, можно это и в рантайме попробовать сделать, разбивая, сжимая, передавая и распаковывая, но не уверен, что звучать будет без лагов)
Про техническую реализацию боюсь соврать: проект пилился 8-9 месяцев назад, но насколько я помню, цепочка была такая:
1. Захватываем звук с микрофона девайса, пишем в поток байт
2. Сжимаем поток байт
3. Пихаем в ws канал
4. Получаем на другой стороне (т.к поток байт зачастую длиннее чем максимальный размер строки, которая помещается в ws сообщение, мы собирали массив по частям. Т.е. передавали команду "звук пошёл" и начинали формирование массива байт, потом передавали данные, потом кидали команду "всё".
А вот тут у меня пробелы в памяти и я не помню, куда мы дальше пихали этот массив байт) Насколько я помню, в проекте была гугловская speech to text API, туда этот массив и посылали
источник

Х

Хаим Умарович Йокога... in Unreal Engine
Как можно извлечь еще ОДИН прайт, не заменяя предыдущие, тем более которые неправильно автоматически выделены?
источник

EB

Egor Bogomyakov in Unreal Engine
В твоём случае, если ты хочешь воспроизвести этот файл, нужно почитать про формирование аудиофайлов в рантайме. Уверен, ue4 предлагает инструменты для этого :)
источник
2020 August 24

AB

Alex Bugaev in Unreal Engine
Egor Bogomyakov
из-за коротких команд даже на отрезки делить не приходилось. Думаю, можно это и в рантайме попробовать сделать, разбивая, сжимая, передавая и распаковывая, но не уверен, что звучать будет без лагов)
Про техническую реализацию боюсь соврать: проект пилился 8-9 месяцев назад, но насколько я помню, цепочка была такая:
1. Захватываем звук с микрофона девайса, пишем в поток байт
2. Сжимаем поток байт
3. Пихаем в ws канал
4. Получаем на другой стороне (т.к поток байт зачастую длиннее чем максимальный размер строки, которая помещается в ws сообщение, мы собирали массив по частям. Т.е. передавали команду "звук пошёл" и начинали формирование массива байт, потом передавали данные, потом кидали команду "всё".
А вот тут у меня пробелы в памяти и я не помню, куда мы дальше пихали этот массив байт) Насколько я помню, в проекте была гугловская speech to text API, туда этот массив и посылали
3 и 4-й пункты — оборачивание в JSON-объект с дескриптором «микрофонное аудио», а внутри движка сборка массива данных, и так пока не придет новая команда «все», я правильно понял подход?
источник

AB

Alex Bugaev in Unreal Engine
Egor Bogomyakov
В твоём случае, если ты хочешь воспроизвести этот файл, нужно почитать про формирование аудиофайлов в рантайме. Уверен, ue4 предлагает инструменты для этого :)
Мне рэйнольдс говорит на гранулярный синтезатор смотреть, я не могу понять как правильно звук по ws доставить до бинарника, это пока основная задача.
источник

EB

Egor Bogomyakov in Unreal Engine
Alex Bugaev
3 и 4-й пункты — оборачивание в JSON-объект с дескриптором «микрофонное аудио», а внутри движка сборка массива данных, и так пока не придет новая команда «все», я правильно понял подход?
Json не нужен, сырые данные можно просто строкой передавать
источник

AB

Alex Bugaev in Unreal Engine
Egor Bogomyakov
Json не нужен, сырые данные можно просто строкой передавать
Не могу понять как получать не JSON: вот что мне доступно из опций со стороны PS
источник

Y

Yakim in Unreal Engine
Alex Bugaev
Не могу понять как получать не JSON: вот что мне доступно из опций со стороны PS
А это вебсокет?
источник

AB

Alex Bugaev in Unreal Engine
Yakim
А это вебсокет?
Это пиксельстриминг, в него данные приходят через вебсокет. Это неправильный подход, и мне нужно добавить ещё какой-то компонент?
источник

Y

Yakim in Unreal Engine
Alex Bugaev
Это пиксельстриминг, в него данные приходят через вебсокет. Это неправильный подход, и мне нужно добавить ещё какой-то компонент?
Это тебе скорее всего в с++, я так подозреваю)
источник

Y

Yakim in Unreal Engine
Наверное создавать ещё один сокет, конектится и гнать нужную инфу.
источник

AB

Alex Bugaev in Unreal Engine
Спасибо за советы!
источник

AG

Alexey Gladkov in Unreal Engine
#вопрос кто-нибудь сталкивался с проблемой поворота кареры в плагине path folllow? позишн идет нормально-равномерно, rotate - периодически не в синхроне, своей жизнью.
https://i.imgur.com/PayftAm.mp4
источник

DN

Dmitry Nichiporchik in Unreal Engine
Alex Bugaev
Спасибо за советы!
По сокету по udp кидай
источник

AA

Ashif Ali in Unreal Engine
Переслано от Ashif Ali
источник