В сентябре мы рассказывали Хабру о том, как наша команда помогает преодолевать языковой барьер с помощью перевода видео. Эта функция позволяет автоматически переводить видео так, чтобы зритель сразу слышал русскую речь. Пользователи встретили новую возможность тепло: ролики с переводом смотрят больше 200 тысяч раз в день.

С тех пор мы развиваем перевод видео. Не писали здесь про каждое изменение, потому что скромные по отдельности они не тянут на рассказ. Но сегодня воспользуюсь поводом и расскажу не только про свежую версию, в которую добавили перевод субтитров, но и про предыдущие обновления.

Осень: запуск перевода видео

Несколько слов о том, как вообще работает перевод видео. Если вы читали и запомнили наш предыдущий пост, то можно смело переходить к следующему разделу. Для всех остальных коротко напомним главное.

Для человека всё выглядит просто. Кликаешь по кнопке — слышишь перевод. Под капотом оно, конечно же, сильно сложнее. Перевод создаётся в несколько этапов, причём на каждом этапе за работу берётся своя нейросеть. Сначала Яндекс распознаёт речь в текст с указанием таймингов и спикеров (за это отвечает голосовая биометрия). Переводить такой текст сразу нельзя: он может быть нарезан не по границам предложений и абзацев. Только после предобработки в дело вступает наша технология машинного перевода. Ну а затем готовый перевод синтезируется в речь, причём с использованием разных голосов.

Схематично это выглядит так:



Каждый этап — достаточно прожорливый с точки зрения вычислительных ресурсов. К счастью, у нас есть суперкомпьютеры (и пост про них на Хабре), поэтому перевод свежих роликов занимает не часы, а минуты или того меньше.

Зима: новые языки и качество

Первые результаты — это хорошо, но нужно двигаться дальше. Когда вы запускаете что-то новое, у вас бесконечное множество возможных путей развития. И выбрать дальнейший путь — уже непростая задачка. Кто-то просит новые языки, для других важно качество перевода текущих. Мы не стали выбирать: всю осень и зиму двигались в обоих направлениях.

Добавили поддержку немецкого, французского и испанского языков. Теперь ролики и на этих языках можно смотреть в закадровом переводе на русский. При этом мы не гонимся за количеством: при выборе новых языков для поддержки ориентировались не только на запросы пользователей, но и на итоговое качество результата.



Кроме того, продолжаем совершенствовать технологию. Наиболее значимые изменения:

• Качество выросло: теперь наш переводчик допускает меньше ошибок, лучше удерживает контекст на протяжении ролика.
• Синхронизация голоса стала точнее: перевод лучше подстраивается под длительность оригинальной озвучки, поэтому его проще воспринимать.
• Скорость создания перевода увеличилась: при первом запуске перевод создаётся пока ещё не мгновенно, но уже быстрее.

Весна: субтитры и регулировка громкости

Другим популярным запросом со стороны пользователей оставались субтитры. Оно и понятно: не всегда получается смотреть видео со звуком, текстовые субтитры спасают в таких случаях. Технологически мы изначально переводим именно текст, а значит, оставалось научиться выводить перевод в субтитрах вместо звука. Но мы решили не идти простым путём и замахнулись на большее.

Наша цель — помочь людям преодолеть языковой барьер и узнать что-то новое. Перевод текста, картинок, видео в нашем Браузере — это лишь инструменты. Но лучший инструмент — это знание языка. Поэтому всё время существования как Яндекс Браузера, так и Яндекс Переводчика мы стараемся не просто переводить, но и помогать учить язык. Например, в Браузере можно переводить не только веб-страницы целиком, но и отдельные слова и фразы. По этой же причине в Переводчике вы видите не только перевод, но и примеры контекстного употребления тех или иных слов. В общем, мы решили сделать перевод субтитров полезным и для тех, кто уже знает язык, но хотел бы пополнить свой словарный запас и потренироваться в восприятии речи на слух.

Теперь, если вы включите субтитры на оригинальном языке, то сможете кликнуть на любое слово и увидеть его перевод.



Более того, мы дали возможность включить подсветку слов, которая синхронизируется с речью спикера в ролике. Эта опция поможет не терять смысл сказанного, что особенно важно для тех, кто изучает язык и пока ещё не владеет им достаточно уверенно.

Для тех, кому нужен только перевод, можно сразу выбрать сгенерированные нами субтитры на русском языке. Все настройки прячутся за кнопкой с тремя точками.



(Кстати, на скриншоте выше вы можете заметить возможность регулировать громкость оригинальной дорожки. По умолчанию мы и так приглушаем громкость оригинала, если включить голосовой перевод, но ряд пользователей просили нас о более персональной настройке.)

Сейчас опция доступна в Яндекс Браузере для Windows и macOS (версии для Linux, Android и iOS уже в работе). Поддерживается перевод субтитров на четырёх языках — английском, французском, немецком и испанском. Опция доступна для роликов на YouTube. В будущем поддержим и другие популярные сайты.

На этом наша работа, конечно же, не останавливается. Продолжим смотреть как в сторону качества перевода, так и в сторону новых возможностей (к примеру, работаем над переводом прямых эфиров, но это пока секрет). Присылайте идеи!