Источник: Trаshbох
Все браузеры очень похожи друг на друга (особенно те, которые работают на одном движке). Однако веб-браузер Яндекса выделяется среди всех остальных в основном функцией внеэкранного перевода видео: браузер дублирует в видео оригинальную звуковую дорожку, но на русском языке, и проигрывает ее поверх исходного видео. К счастью, эту опцию можно использовать и в других веб-браузерах благодаря специальному скрипту, размещенному на GitHub. В этой статье рассмотрим, как его установить, что это вообще такое и какие есть ограничения.
Как настроить озвучку видео Яндекса
Совместима практически любая программа: не только Chrome, Edge и другие на движке Chromium, но и Firefox с Safari.
Установите расширение Tampermonkey (платное для Safari, можно заменить утилитой UserScripts) — это менеджер скриптов, который позволит запустить нужный алгоритм внеэкранной трансляции видео. Скачайте специальный скрипт — нажатие кнопки «Установить» закроет вкладку.
Проверить, установлено ли оно, можно в меню расширения, нажав кнопку «Панель управления». На всякий случай файл скрипта прикреплен к этой статье (внизу); его можно установить вручную, если что-то случится с GitHub.
Теперь при открытии видео на YouTube над иконкой расширения Tampermonkey будет появляться индикатор в виде красного круга, а над видеоплеером — виджет, предлагающий сделать озвучку.
Если расширить расширенные настройки, то можно активировать автоматический перевод видео и настроить громкость переведенной озвучки.
Кратко: как работает Яндекс озвучка
Прежде чем попробовать эту технологию, может показаться, что она проста в реализации и плохо работает: голосовой перевод в самом Google Translate занимает много времени, а его машинный голос оставляет желать лучшего. Но на практике все как раз наоборот — это комбинация очень сложных алгоритмов, а результат действительно превосходный.
Дубляж и озвучка выполняются в несколько этапов:
Распознавание и обработка речи
На этом этапе алгоритмы пытаются обработать речь: в видео может быть больше одного диктора, и если просто преобразовать все услышанные слова в текст, а затем перевести их, то получится каша. Нейросеть пытается сгруппировать слова по смысловым сегментам, расставить знаки препинания (это очень важно даже в видео с ведущим) и убрать мусор.
Если к видео добавлены субтитры вручную, то нейросеть использует их, а не исходную звуковую дорожку.
Определить пол говорящего
Технологии Яндекса могут озвучивать видео женским (Алисой) и мужским голосом. Для этого алгоритмы должны определить пол людей, присутствующих на видео. Гендерно-чувствительный машинный перевод
По сути, на этом этапе делается стандартный перевод уже готового текста, но с нюансом: алгоритмы учитывают пол говорящих для выбора правильных местоимений, а также правильных форм глаголов и прилагательных. Синтез голоса с учетом разницы языков.
Переведенная речь в среднем на 10-30% длиннее английской. Из-за этого может быть заметное отсутствие синхронизации между тем, что происходит на экране, и озвучкой. Умные технологии от Яндекса стараются, в первую очередь, сократить ненужные паузы между фразами и словами, а уже потом, если этого недостаточно, ускорить русскую озвучку.
Хотя некоторые из этих шагов выполняются параллельно, все технологии очень сложны и ресурсоемки, поэтому требуется время, прежде чем озвучка будет готова.
Какие ограничения по сравнению с Яндекс.Браузером?
Хотя скрипт в этой статье использует технологию Яндекса, в других браузерах неофициальная озвучка работает несколько хуже из-за определенных ограничений.
Популярные видео не переводятся мгновенно
В Яндекс.Браузере озвучка популярных роликов с большим количеством просмотров происходит моментально (видимо, компания хранит готовые озвучки для этих роликов на своих серверах и не делает этого каждый раз). При использовании скрипта даже популярные ролики проходят все этапы озвучивания, поэтому на каждые 10 минут ролика следует рассчитывать около 1 минуты.
Поддерживается только YouTube
Яндекс.Браузер умеет переводить общедоступные видео на многих популярных платформах, но скрипт работает только с роликами на YouTube (тоже общедоступными). Не получать уведомления, когда видео готово
Поскольку озвучка происходит не мгновенно, Яндекс.Браузер отправляет пользователям уведомление о готовности; после запроса перевода можно даже закрыть вкладку. Скрипт не умеет этого делать, приходится ставить видео на паузу и ждать пока все будет готово. Исходная звуковая дорожка не отключена
Яндекс.Браузер автоматически отключает исходный звук (но не удаляет его полностью). В случае использования скрипта громкость исходного видео придется уменьшать вручную, иначе звуковые дорожки будут накладываться друг на друга. Перевод субтитров недоступен.
Помимо переведенной озвучки, Яндекс.Браузер также может отображать субтитры на языке оригинала — при нажатии на слово внутри предложения отображается его перевод. В скрипте этой функции нет.
иногда бывают ошибки
При использовании скрипта бывает, что надпись об ожидании перевода зависает — приходится несколько раз перезагружать страницу, чтобы была доступна озвучка (но она появляется сразу, опять ждать не надо). В Яндекс.Браузере такой проблемы нет.
Несмотря на все ограничения, скрипт свою функцию — переозвучивание видео на русский язык выполняет, и делает это очень хорошо. Как и технология Яндекс.Браузера, поддерживает перевод не только с английского, но и с немецкого, французского и испанского языков.
Источник: Trаshbох
