Разработчики Яндекс.Браузера расширили возможности перевода видео за кадром — теперь в список совместимых языков добавлен китайский. По словам компании, внедрение этого новшества оказалось очень сложной задачей, так как программисты столкнулись сразу с несколькими сложностями. Сейчас нововведение уже доступно для видео на YouTube, а в ближайшее время появится поддержка видео на популярной китайской платформе Bilibili.
Одно из препятствий заключалось в том, что не было готовых примеров, отвечающих требуемым критериям для обучения нейросети переводу с китайского. В итоге разработчики отсканировали 1,5 млн роликов и отобрали среди них 100 000 подходящих роликов с качественными субтитрами на северном китайском — нейросеть учится понимать речь по субтитрам, поэтому этот этап был особенно важен.
Примечательно, что всего за месяц нейросеть справилась со сложностью китайской особенности — речь идет о понимании четырех тонов, определяющих смысл сказанного (в этом языке один и тот же слог может иметь разное значение в зависимости от мелодический рисунок голоса).
