Skip to main content

Сегодня, 5 августа, разработчики Яндекса официально представили в своем фирменном браузере уникальную технологию, позволяющую автоматически реализовывать закадровую трансляцию прямых трансляций на YouTube. Благодаря этому презентации ожидаемых новинок электронного рынка, различные интервью с голливудскими знаменитостями и насыщенные онлайн-трансляции запусков ракет в космос будут доступны в режиме реального времени даже на русском языке. Правда, разработчики сразу заметили, что сейчас технология представлена ​​в открытом бета-тестировании, поэтому трансляция трансляций доступна только на YouTube-каналах из определенного плейлиста на платформе.

Яндекс запустил синхронный перевод прямых трансляций: работают сразу четыре нейросети

Преимущество этой функции в том, что пользователю, интересующемуся хай-теком и другим интересным контентом, не придется долго ждать появления необходимого ему видео с переводом в формате записи по окончании мероприятия. Теперь трансляции можно смотреть на русском сразу во время трансляции; это касается вебинаров, бизнес-конференций или крупных мероприятий от титанов рынка цифровых технологий; например, вы можете смотреть презентацию Apple с переводом в реальном времени. И, судя по всему, Яндекс не планирует останавливаться на достигнутом.

«Мы продолжаем совершенствовать технологии, которые помогают стирать языковые границы в Интернете. Следующий шаг — это перевод стримов и потоковое видео не только на YouTube, но и, например, на Twitch», — рассказал Дмитрий Тимко, руководитель направления «Яндекс Приложение» и «Яндекс Браузер».

В то же время следует отметить, что закадровый перевод прямого эфира является очень сложной инженерной задачей, так как для качественного перевода речи на иностранном языке чрезвычайно важен контекст, ведь в разных сценариях одни и те же слова могут иметь разные значения, следовательно, для корректного перевода нейросети необходимо предоставить как можно больше текста в «чанке». Но когда дело доходит до стрима, пользователю важна минимальная задержка перевода, а значит, его нужно делать мгновенно: ждать, пока спикер полностью сформулирует свою мысль, просто нет времени. Нейросеть должна выступать в роли синхронного переводчика, начиная переводить предложение еще до того, как оно будет произнесено до конца.

Яндекс запустил синхронный перевод прямых трансляций: работают сразу четыре нейросети

Для реализации быстрой и качественной трансляции потоков в реальном времени разработчикам компании пришлось полностью перестроить архитектуру технологии внеэкранной трансляции видео. Дело в том, что в случае перевода записанного контента нейросеть получает всю звуковую дорожку и, следовательно, весь контекст предложения, что облегчает задачу. Механизм работы с потоками очень разный: одна нейросеть распознает аудио и на лету преобразует контент в текст, а другая определяет пол говорящего на основе его биометрии. На следующем более сложном этапе третья нейросеть расставляет в тексте знаки препинания и выделяет из всего текста смысловые фрагменты, те элементы, которые содержат законченную мысль. И их уже принимает четвертая нейросеть, отвечающая за перевод — она тут же синтезируется на русском языке.

Любой желающий уже может оценить возможности технологии; для этого вам нужен Яндекс Браузер на ПК.

Оставить комментарий