Недавно мы впервые показали прототип переводчика видео в Яндекс.Браузере. Прототип работал с ограниченным числом роликов, но даже в таком виде вызвал интерес у пользователей. Теперь мы переходим к следующему ключевому этапу: в новых версиях Браузера и приложения Яндекс перевод доступен для всех англоязычных роликов на YouTube, Vimeo, Facebook и других популярных платформах.
Сегодня я не только расскажу о том, как устроен новый переводчик видео и какие у нас планы, но и поделюсь предысторией. Потому что считаю, что контекст важен: мы шли к этому шагу более десяти лет. Но если история вам вдруг не интересна, то можете сразу переходить к разделу «Перевод видео», где я описал работу технологии (а точнее, целого комплекса наших технологий) по шагам.
Десятью годами ранее
В 2011 году в Яндексе решалась судьба собственного полноценного браузера. На тот момент браузеров на любой цвет и вкус уже хватало. Но почти все они создавались «где-то там»: без оглядки на рунет и потребности тех пользователей, для которых английский язык и латиница не были родными. Поэтому мы решили создать свой браузер, который бы в числе прочего более полно поддерживал русский язык и наши с вами «региональные» потребности. Уверен, эта фраза звучит непонятно, поэтому ниже вас ждут два моих любимых примера. Они не связаны с переводом, но показательны.
Кстати, этой фиче был посвящён мой самый первый пост на Хабре в 2013-м. Как будто вчера это было.
В отличие от англоязычной аудитории, нам с вами приходится жить в мире двух алфавитов и постоянно переключаться между ними. Это приводит к ошибкам. А ошибки приводят к выбору: или ввести адрес заново, или совершить лишний переход в поисковую систему. Мы — за экономию времени, поэтому учли подобные ошибки с раскладкой ещё в самой ранней версии 2012 года. В таких ситуациях Яндекс.Браузер исправляет раскладку «в уме» и предлагает перейти не в поиск, а сразу и в один клик — на нужный сайт.
Таких примеров много, но думаю, суть я передал. В любом случае все они меркнут на фоне главной проблемы, которой мы бросили вызов: проблемы языкового барьера.
Перевод текста
В интернете более миллиарда сайтов, но лишь около 9% — на русском языке. Интернет быстро растёт, но опять же — в основном за счёт иностранных сайтов. Информация, которая создаётся там, недоступна для большинства наших пользователей здесь.
Ещё тогда — в 2011-м — мы решили изменить это и помочь распространению знаний между пользователями. К счастью, в том же году появился Яндекс.Переводчик (тогда он ещё назывался Яндекс.Перевод). В его основе была технология статистического машинного перевода собственной разработки. Мы применили её и в Яндекс.Браузере. Да, мы не были первыми: Chrome уже умел подобное. Но в нашем случае переводчик работал с одной актуальной для рунета особенностью.
Большинство из нас с детства учит английский язык. Кто-то овладел им в совершенстве, но многие знают его достаточно фрагментарно, на уровне «читаю и пишу со словарём». Поэтому для нас особенно полезна возможность переводить не только страницы целиком, но и отдельные фразы и слова. Так мы пополняем словарный запас, продолжаем совершенствовать знания. Так оно и работает в Яндекс.Браузере с первого дня его существования.
Перевод картинок
Перевод текста — это хорошо. Но мы не должны забывать, что текст встречается ещё и на изображениях. Например, заметная часть сайтов израильских государственных организаций предпочитает именно такой способ размещения информации. Похожую картину можно увидеть на корейских, китайских, арабских сайтах. Аналогичная ситуация с техническими характеристиками товаров в иностранных интернет-магазинах.
Особенность этой задачки в том, что для её решения нужно объединить три технологии, которые отрабатывают последовательно. Сначала с помощью компьютерного зрения найти текст на картинке и распознать его в текстовый формат (OCR), затем с помощью машинного перевода перевести текст на русский язык, ну а вишенка на торте — рендеринг перевода поверх оригинальной картинки. Тут на каждом шаге можно закопаться в самостоятельную статью, поэтому я расскажу про самое неочевидное: про то, как мы боролись за экономию ресурсов.
Итак, можно взять исходную картинку, отправить в оригинальном виде из Браузера к нам на сервер, там проделать всю-всю работу, затем вернуть вариант с уже отрисованным переводом. Это самый простой для нас вариант. Но самый плохой для пользователя. Потому что картинки в интернете могут весить очень много. Их пересылка туда-обратно — это не только трафик, но и время, а значит, тормоза в продукте.
Чтобы не раздражать пользователей, мы пошли другим, сложным путём. На стороне Яндекс.Браузера уменьшаем картинки и переводим их в чёрно-белое представление. Кроме того, формат картинки меняем на WebP, который в среднем весит на 15–20% меньше, чем JPEG. В совокупности эти меры снизили вес картинок в несколько раз. При этом качество распознавания и перевода ощутимо не упало.
Этап объединения исходной картинки с переводом мы тоже перенесли на устройство. И вот тут возникла сложность. У Браузера есть исходная, цветная картинка и текст перевода. Если просто взять и наложить чёрный (белый?) текст на цветную картинку, то в большинстве случаев получится жуть. А мы не для того длину текста и переносы строк подгоняем под оригинал, чтобы испортить всю магию цветом шрифта.
Итак, нам нужно подогнать цвет перевода под цвет оригинала. Но Яндекс.Браузер не различает текст и фон на исходной картинке, а значит, не может выбрать цвет для перевода. Наш серверный OCR видит текст, но не видит цвета, которые были потеряны в результате конвертации в ч/б.
Придумали следующее. На стороне OCR выделяем ключевые точки на картинке для фона и текста. Отправляем их координаты Браузеру вместе с переводом. Браузер на своей стороне по этим координатам определяет цвета. И уже затем выбирает для перевода цвет, который накладывается на фон.
Получилось в целом неплохо:
Перевод картинок работает на десктопе и устройствах с Android. В ближайшем будущем добавим и iOS. Ну и конечно же, продолжим совершенствовать распознавание и перевод.
Перевод видео
У нас была давняя мечта: научиться переводить ещё и видео. Люди всё чаще смотрят образовательные и научно-популярные ролики, интервью, репортажи и многое другое. Бо́льшая часть подобных видео создаётся не на русском языке. Профессиональный перевод — редкость для свежего контента в интернете. В лучшем случае пользователи получают автоматически сгенерированные субтитры. Мы же решились замахнуться на большее: на автоматический перевод и озвучку любого видео прямо в браузере.
Как и в случае с картинками, для решения этой задачи одного только машинного перевода недостаточно. Качество перевода видео сильно зависит от качества распознавания и синтеза речи. К счастью, запуск Алисы и наших умных колонок здорово подстегнул развитие этих технологий в Яндексе. Настолько, что в сентябре прошлого года мы решились запустить проект. Казалось бы, остаётся только соединить все технологии в общий процесс. Какие тут могут быть сложности, не правда ли? Сейчас расскажу какие, описав процесс по шагам (а в конце рассказа вас ждёт простая наглядная схема).
Шаг 1. Распознавание речи и предобработка текста
Пользователь нажимает кнопку переводчика, и мы начинаем обрабатывать ролик.
У нас на входе есть какое-то видео с какими-то голосами. Это может быть образовательный ролик с одним ведущим. Это может быть интервью из двух человек. А может быть и вовсе многоголосая дискуссия. Если просто перевести поток речи в текст, то получится сырой набор слов. Без запятых, без точек, без логической группировки слов в предложения, а предложений — в абзацы. И если прогнать такой текст через переводчик, то результат будет в полной мере соответствовать принципу GIGO. Поэтому мы не только превращаем аудио в текст, но и запускаем специальную нейросеть, которая вычищает мусор, группирует слова в смысловые сегменты и расставляет знаки препинания.
Кстати, мы опираемся не только на голос, но и на субтитры. Решили так: если человек загрузил к видео субтитры — то распознавание не используем: ведь тексты, написанные людьми, обычно более качественные, чем тексты на выходе у ASR. Но если субтитры сгенерированы автоматически, то игнорируем их и применяем свою технологию.
При этом даже ручные субтитры нужно пропускать через ту самую нейросеть. Как минимум потому, что в них бывает много текста, который не нужен для синтеза голоса. Например, описание звуков (*аплодисменты*, *звук сирены* и т. д.) или указание имени спикера перед каждой фразой.
Кроме того, ручные субтитры могут быть нарезаны на строки не по границам фраз, а произвольно. Приходится пересобирать текст из разных строк. Покажу пример:
На скриншоте выше вы видите две строки субтитров. Раньше мы их так (построчно) и переводили. Но на самом деле это фрагменты двух предложений, начало и конец которых прячутся в соседних строках:
The output from my scanning electron microscope is than oscilloscope screen.
So I set that up and adjusted the contrast and everything.
И вот такие вещи надо уметь восстанавливать, иначе смысл перевода исказится до неузнаваемости.
Шаг 2. Биометрия
Итак, у нас на руках части неплохого текста и тайминги, которые нам ещё пригодятся. Что дальше? Перевод?
Нет: мы ещё больше усложнили себе задачку. Мы хотим, чтобы голоса у спикеров были разными: так проще воспринимать речь. Мы планируем адаптировать синтезированный голос к голосу спикера. Но на текущем этапе у нас более простое решение: мы определяем пол говорящего для каждой части текста, чтобы озвучивать их мужским или женским голосами.
Шаг 3. Машинный перевод
Теперь пора переводить. Тут в целом всё происходит достаточно стандартно, но с одной важной особенностью: мы передаём в модель переводчика ещё и информацию о спикерах, об их поле. Это нужно для того, чтобы в переводе разные спикеры говорили о себе или обращались к другим с корректным согласованием местоимений, глаголов и прилагательных.
Шаг 4. Синтез речи
Переходим к синтезу голоса. Сейчас у нас два голоса, дальше станет больше. Но самая большая сложность вовсе не в этом. Тексты на русском языке длиннее, чем на английском. Разница может составлять в среднем от 10 до 30%. Это значит, что при длительном воспроизведении мы рискуем словить существенный рассинхрон между тем, что говорит спикер на английском, и тем, что мы произносим на русском. Значит, нужно синхронизировать два потока речи. И нет, мы не стали фиксированно ускорять одну дорожку относительно другой.
Помните, чуть выше я уже говорил про тайминги, которые мы получили после анализа исходной речи? Благодаря им мы знаем, какие фразы в какой момент должны произноситься. Это позволяет нам синхронизировать речь более гибко. Работает это так. Синтез речи — многоступенчатый процесс, в котором можно выделить два самых больших этапа. На первом мы с помощью нейросетей представляем текст в виде промежуточной спектрограммы. На втором с помощью других нейросетей превращаем спектрограммы в звук. Мы используем тайминги на первом этапе, чтобы сгенерировать спектрограмму нужной длительности. При этом ускорение в первую очередь достигается за счёт сокращения бесполезных пауз между фразами и словами. И только если этого недостаточно, алгоритм ускоряет сами фразы.
Шаг 5. Уведомления
Ура, у нас готов перевод, его можно включить в Яндекс.Браузере. Расходимся? А вот и нет. Мы выстроили целый каскад из тяжёлых технологий, которые последовательно сменяют друг друга. Требуется время на работу огромных нейросетей-трансформеров, даже с учётом их распараллеливания на GPU. К примеру, когда мы делали первый подход к снаряду и собрали быстрый внутренний прототип, то видео длиной в час переводили целых полчаса. Нам удалось оптимизировать всё это дело и ускорить переводчик в несколько раз, но это по-прежнему минуты, а не мгновения. Над мгновенным переводом мы продолжаем работать, а сейчас придумали такую схему: мы не только говорим пользователю, что нужно немного подождать, но и присылаем пуш-уведомление о готовности. Такое решение удобно: можно запросить перевод, закрыть вкладку и уйти заниматься своими делами. Браузер переведёт и напомнит.
Вместо заключения
Вот наглядная схема всего процесса перевода видео:
Чуть ниже вас ждёт образец готового перевода на примере фрагмента лекции Джимми Уэйлса в Яндексе (оригинал тут). Этот фрагмент хорошо демонстрирует не только потенциал нашей технологии, но и проблемы, над которыми мы будем работать дальше.
Сейчас перевод видео доступен для английского языка и популярных сервисов. Он работает в Яндекс.Браузере для десктопа и Android, а также в приложении Яндекс для Android и iOS.
Хочется верить, что наше решение поможет пользователям хотя бы частично преодолеть языковой барьер и открыть для себя новый полезный контент, для которого ещё нет профессионального перевода. Мы продолжим совершенствовать перевод видео. У нас ещё очень много работы, поэтому любые идеи приветствуются.
Комментарии (169)
alexandrtumaykin
07.09.2021 11:04+2Не увидел в браузере эту возможность, хотя пишет, что версия последняя. Как воспользоваться фичей?
kukutz
07.09.2021 11:14+1Какая у вас ОС? На iOS пока только в приложении Яндекс, браузер обновим позже.
Перезапускали ли вы браузер?
alexandrtumaykin
07.09.2021 11:46macos, 21.8.0.1716 (64-bit)
kukutz
07.09.2021 11:54После перезапуска (Cmd+Q, не крестик на окне) должно заработать.
Если не заработает, напишите плиз в обратную связь прямо из браузера, будем разбираться.alexandrtumaykin
07.09.2021 12:05+6Да, перезагрузка помогла. Спасибо
TimsTims
07.09.2021 23:18Перезагрузка всегда всем помогает)
- помогите, я уже перезагрузил компьютер 3 раза!
- почему 3 раза?
- мне в техподдержке всегда говорят перезагружать 3 раза!
(С) https://youtu.be/H3Amw6vKb34
iswitch
07.09.2021 14:38macOS, 21.8.0.1713 (64-bit) M1. Перезагрузка не помогла
После N перезагрузок, заработало
BGM8888
12.09.2021 23:54Здравствуйте. На iOS данной фичи нет, ни в браузере ни в приложении яндекс. Версии обновил до последних. Помогите пожалуйста
BarakAdama Автор
12.09.2021 23:54Попробуйте несколько раз холодный перезапуск приложения.
BGM8888
14.09.2021 17:47Спасибо. У меня еще два вопроса
Планируется ли перевод прямых трансляции?
Как скоро добавится перевод с других языков?
BarakAdama Автор
14.09.2021 17:55+1Хотим, да.
Уже работаем над несколькими новыми языками. Но сроки обещать не буду. Пусть лучше будет приятным сюрпризом.
BGM8888
14.09.2021 18:05Круто. Спасибо. Хотел бы выразить большую благодарность всей вашей команде. Вы реально сделали очень полезную и крутую технологию. Раньше не решался пользоваться яндекс браузером из за его перегруженного интерфейса. Теперь это будет моим основным браузером. Молодцы!!!
BarakAdama Автор
07.09.2021 11:14Попробуйте перезапустить браузер. И подскажите, плз, номер версии из «О браузере» и ссылку на видео, на котором пробуете.
inoyakaigor
09.09.2021 20:00Я так полагаю, если скачать версию для организаций (текущая 21.6.0), то там это работать не будет?
AigizK
07.09.2021 11:11+1А не рассматривали вариант, когда часть операций делается на стороне клиента?
BarakAdama Автор
07.09.2021 11:26Рассматриваем варианты. Но у такого подхода есть как плюсы (скорость), так и существенные минусы (высокая нагрузка на железо пользователя).
tempick
07.09.2021 12:57+3А если как вариант сделать в настройках галочку наподобие «разрешить часть операций на устройстве при наличии большого количества свободных ресурсов на этом устройстве»? Если компьютер мощный и на момент перевода нет тяжелых процессов, то это будет и пользователю быстрее, и ваши серверы частично разгрузятся
pwrlnd
08.09.2021 17:31+1Рассматриваем варианты. Но у такого подхода есть как плюсы (скорость), так и существенные минусы (высокая нагрузка на железо пользователя).
Уверен, что здесь большая доля лукавства, так как в этом проекте основную коммерческую и интеллектуальную ценность представляют алгоритмы и подготовленные нейросети. Перенос вычислений на компьютер пользователя означает, что при должном желании и умении эти дорогостоящие разработки станут подспорьем конкурентов или других организаций, которые смогут извлечь из этого прибыль.
Поэтому надеяться на перенос этого к пользователю в ближайшие годы не стоит.
cepera_ang
07.09.2021 11:21+5Это было офигенно в демке несколько месяцев назад и продолжает быть офигенно сейчас. Если бы мне попался такой переведённый ролик где-нибудь — я бы даже не подумал, что это автомат, уровень типичной интернет-озвучки.
MrDante
08.09.2021 11:10+2Подтверждаю. Я сам всегда относился к яндексу нейтрально+ -- подписчик плюс, катаюсь на такси, есть 3 алисы, но не пользовался браузером и не кричу везде, что яндекс -- лучше всех.
Однако вчера при релизе этой "фиче" побежал тестировать её на куче всяких видео, совершенно разных. И от результата был так доволен, что даже в личном блоге начал облизывать компанию.Да, не всё идеально сейчас, но блин! Даже на таком уровне результат на 2 головы выше того, что я ожидал.
Яндекс молодцы.
cepera_ang
08.09.2021 12:43Не, меня так просто не возьмёшь, буду радоваться фиче в теории — для многих людей это позволит открыть океан информации. Но не для меня :) Подождём пока до какого-нибудь китайского дойдут.
Я бы сказал, что они прям молодцы-молодцы, если бы они это дело как отдельную либу на гитхаб выложили, чтобы любой желающий мог у себя на домашней видяхе так сделать. Уверен, что какой-нибудь гугл так бы и сделал (потому что им лень самим возиться с подобными побочными фичами, которые улучшают жизнь пользователей, но не влияют на доходы от рекламы).
zamboga
10.09.2021 00:15Влияют, да ещё как)
Эта фича работает только в ЯБ -> люди начинают пользоваться ЯБ -> профит.
Тем более, что яндекс засовывает свою рекламу не только в Турбостраницы (которые по дефолту включены на стороне владельца контента, в вебмастере, если не ошибаюсь). Но и в видео, если ты не на самом ютюбе, а смотришь видео через сам поисковик. А теперь и видео будут больше через яндекс смотреть.
Upd. Чтд: через ~10 комментов вниз человек скачал ЯБ и решил сделать его основным: https://habr.com/ru/company/yandex/blog/576438/#comment_23455898
cepera_ang
14.11.2021 16:50Сорян за долгий ответ, но вы совершенно правы, хотя и неправильно поняли меня. Я говорил, что для гугла эта фича не повлияла бы значимо на доходы от рекламы (потому что они и так очень большие и все ими пользуются), поэтому они с большой вероятностью бы выложили её для всех. Для яндекса — это значимая функциональность, которая конечно же поможет привлекать пользователей и зарабатывать больше, именно поэтому фича им важна, они готовы уделять ей больше внимания и очень вряд ли будут делиться.
GeneD88
07.09.2021 11:43+7Не, фича, конечно, крутая.
И понимаю, что я только учусь, но, такое себе...:
зы: Судя по другим видео, синтез не воспринимает вопросительные предложения.
зыы: С таким пунктом как "Определение пола спикера" можно попасть в просак =)
alan008
07.09.2021 15:24+5В приведенном фрагменте android developer было переведно как "слабоумный". Не понял, это глюк или фича )
FlashHaos
07.09.2021 18:07+1Больше похоже на целенаправленную правку словаря, который использует алгоритм. Уже было что-то такое, когда Гугл переводил фамилию одного лидера как Царь, или что-то в этом духе.
jonie
07.09.2021 11:45-9А как реализуются требованания законодательства определённых стран касательно обозначения всяких иноагентов/террористов/блокирования контента и т.п.? Например: я смотрю через прокси (притом проксирую только этот сайт) какую-то картинку с злобным буратиной* (*запрещён на территории РФ), мой браузер находится физически в РФ, и "можно взять исходную картинку, отправить в оригинальном виде из Браузера к нам на сервер" - т.о. картинка окажется в РФ и будет переведена и отдана уже российской компанией и по территории страны со всемы вытекающими ? А-то сесть знаете ли из-за кеша браузера / кеша яндекс-сервера не хочется сильно-то...
TimsTims
07.09.2021 23:20Если бы вы внимательно читали текст, то заметили бы, что картинки на сервер не передаются, только текст для перевода и несколько цветов пикселей вокруг.
Danil_ka88
07.09.2021 12:32Очень круто.???? Уже опробовал. Не хватает возможности приглушить голос оригинала. Особенно если звонкий голос у автора.
kukutz
07.09.2021 13:08По идее, должен автоматически приглушаться, если речь не про iOS. Покажите плиз примеры?
Danil_ka88
07.09.2021 13:53https://youtu.be/MN0FD8KW2V4 Возможно я немного придираюсь. Перевод действительно громче. Но голос автора накладывается и получаеться каша.
cadovvl
07.09.2021 13:31+9Вы меня купили: качаю Я.браузер.
У меня свободный английский, но фичу ооочень хочется пощупать.cadovvl
07.09.2021 13:53+3Фидбек: вот на этом видео обращение к зрителю скачет: "я расскажу тебе" и "вы можете видеть".
Еще есть "уай сюркумфлекс 2" для y^2 и "уай подчеркивание 1 равно грех" для y_1 = sin(x). Ну и еще пара мелких огрехов.
Но, в целом, очень даже неплохой перевод. Заявленное в статье: разделение на предложений, паузы, пол, синтез речи, работает прекрасно. Объем проделанной работы впечатляет! Спасибо!
casuss
07.09.2021 14:17+4Скажите, это, стало быть, любую фильму так можно перевести? Вашему изобретению цены нет, гражданин интеллигент!
ЗЫ: Ждем на трекерах новых озвучек от Я.Браузера?
cadovvl
07.09.2021 14:38+5Тот случай, когда скачал браузер, чтобы пощупать фичу, и залип на остальной функционал на полчаса.
Попробую поставить его как основной браузер: он выглядит совсем не так, как 7 лет назад - сейчас он выглядит как космолет, по крайней мере на первый взгляд.
tundrawolf_kiba
07.09.2021 15:37Попробуйте ещё мобильный, одна из штук что мне в их мобильном нравится — что можно подключить внешние блокировщики рекламы. Для людей, которые не любят телефонный ВПН — это очень удобная вещь.
Syrex
08.09.2021 13:17Там ещё не закончили бороться с ublock origin на мобильном браузере? Только из-за этого ушел с него на киви браузер. Встроенный блокировщик блокирует рекламу выборочно, особенно на сайтах Яндекса, а ublock ставится только дев версия, и то расширение постоянно отключается
Akr0n
07.09.2021 14:54+1Первый раз для уникального ролика переводит с помощью описанных технологий, но потом для экономии электричества уже просто подтягивает сгенерированную дорожку?
BarakAdama Автор
07.09.2021 15:12Видео переводится исключительно по команде пользователя. Он нажимает на соответствующую кнопку и ожидает, пока перевод будет закончен. Если какое-то видео было недавно уже переведено, то мы переводить заново его не будем. Например, если 10 пользователей захотели перевести одно и то же видео, перевод будет одинаков и пользователи получат его одновременно.
Akr0n
07.09.2021 16:03+2Ну тоесть одно и тоже видео по одной и той же ссылке будет распознаваться только один раз, а потом берется всегда готовая дорожка? Или только какое-то время после первого перевода?
kukutz
07.09.2021 16:43+2А вы почему спрашиваете, вы что, правообладатель? :)
Если серьёзно, то поскольку у нас улучшаются со временем нейросети всех этапов перевода видео, лучше не кешировать старый перевод навсегда.
Akr0n
08.09.2021 03:36Нет, просто мне жалко природу и лишний расход электричества. Нет смысла загружать сервера одним и тем же. Если обновление версии сети, то конечно есть смысл заново прогонять, об этом как-то не подумал.
cepera_ang
08.09.2021 12:44Не переживайте, лишний расход электричества и серверов — это деньги, а деньги компании считать умеют — как только фича наберёт популярность и появится на графиках мониторинга, то кеширование сразу появится, даже если сейчас его и нет.
AigizK
08.09.2021 08:32+1А с точки зрения закона, нет никаких нарушений авторских прав? Что ваши юристы говорят по поводу таких переводов поверх видео?
belonesox
07.09.2021 16:44+3А можно как-то скачать обработанные субтитры — как на английском (перед переводом), так и на русском (после озвучки)? Хотя бы просто текстом.
kukutz
07.09.2021 16:47+3Нет, пока что субтитры никак скачать нельзя. Мы видим сейчас по фидбеку запрос на генерацию и перевод субтитров, подумаем в этом направлении.
Emulyator
07.09.2021 16:53+2Писал в другой теме, но и тут еще раз хочу поблагодарить за перевод видео. Уже перевод картинок для меня был серьезным преимуществом браузера, а возможность приобщиться к куче ценных обучающих материалов, для меня вообще киллер-фича. Так держать!
Cright
07.09.2021 17:28+2О, есть вероятность, что меня услышат разработчики Яндекс браузера. Ну как же раздражает всплывающее не закрываемое (без "крестика") окно для скачивания браузера на главной Яндекса. Сменил поисковик основной конкретно из-за этого. Я все понимаю: надо продвигать. Да, и не совсем это к вам вопрос. Передайте ответственным: дайте хотя-бы возможность его закрывать и/или отключить тем, кто с браузером для себя определился.
tonyrouge
08.09.2021 08:43Если вам нужна главная Яндекса только ради поисковика — попробуйте ya.ru. Строка поиска и ничего больше.
nixtonixto
08.09.2021 10:10+1Но потом откроется страница с результатами поиска, и там вам предложат скачать браузер. А если вы приметесь искать картинки, то перед просмотром каждой (!) картинки будет появляться всплывающее окно с предложением зарегистрироваться или войти.
musya9
07.09.2021 17:45Часть роликов переводит, а какие-то никак. Например, я нашла канал на ютубе доктора Марка Хаймана, и на его канале ролики никак не переводятся. Типа мы работаем над этим, пришлем уведомление и тд. А так бы хотелось посмотреть. Книги его читала на русском,английским не владею так хорошо, чтобы живую речь на 100% понимать.. Дэниэла Амена один ролик небольшой очень качественно переводит. Задумка хорошая, жаль, что не все может перевести.
BarakAdama Автор
07.09.2021 17:46+1Если написано, что «переводится, пришлём уведомление», то это вопрос нескольких минут. Скоро перевод появится.
Если вообще кнопки нет, то это браузер мог некорректно определить язык ролика. Тут нам помогли бы примеры.
musya9
08.09.2021 01:49кнопка есть,включаю перевод.жду много минут перевод так и не появляется., гляньте этот ролик например https://www.youtube.com/watch?v=b--Tgm2xc8Q . У вас переводится?? Скорость интернета у меня нормальная.
kukutz
08.09.2021 13:11Да, на этом видео включается перевод. У вас сохраняется проблема?
musya9
08.09.2021 16:09переводится.Но не сразу. Минут через 7. Параллельно включаю английские субтитры , чтобы самой вовремя перевести неправильно переведенные отдельные слова. В целом в диком восторге от возможности слушать оригинал.Еще бы в инстаграме видео так же переводилось бы...
musya9
08.09.2021 02:01вчера не работало на роликах Марка Хаймана. Сегодня после 7 проб включить- все таки заработало!!!!
tundrawolf_kiba
07.09.2021 18:21Фича реально крутая и классная, но хочется ещё узнать, что слышно о группировке вкладок и о боковых вкладках?
TimurRyabinin
07.09.2021 19:43Здравствуйте! Я из Яндекса. Спасибо за тёплые слова :)
Уточните, пожалуйста, ваш вопрос по поводу вкладок — постараюсь помочь.
tundrawolf_kiba
07.09.2021 19:49Ну тут вопрос в том, что этих фич просто нет на данный момент. Касательно группировки вкладок — она была в альфа-версии «Кусто», но в релизную так и не попала, примерно в то же время не помню точно кто, может даже BarakAdama выкладывал скриншот тестовой сборки с боковыми вкладками, однако эта фича не добралась даже до пользовательской беты. Поэтому и хочется узнать — есть ли по ним какие-либо новости, т.к. иногда сильно не хватает.
kukutz
07.09.2021 22:43Пока новостей нет, думаем.
Боковые вкладки в некотором смысле доступны в балуне кнопки "Управление вкладками" боковой панели.
Alcpp
07.09.2021 19:35С переводом ролика Джимми Вейлса как-то не очень справился. Carriers перевел как перевозчики, хотя там - провайдеры связи и еще с десяток таких примеров.
slamon
07.09.2021 20:21+1Очень крутая вещь! Разработчикам - большой респект! Искренне хочется пожелать дальнейших успехов!
Отлично понимаю, что продукт ещё сыроват, но даже данный первичный результат впечатляет
gremlin244
07.09.2021 20:23Да, присоединюсь к восхищениям, как фича это прям вау. Но вот как это повлияет на желание людей учить английский… Я и так-то на удивление часто вижу молодежь, которая на английский смотрит как на клинопись, и мол зачем его учить, на крайний случай есть же гугл транслейт, ну или яндекс переводчик. Чисто интуитивно мне казалось что чем дальше, тем более распространено будет знание английского, но вижу обратное. Впрочем это не то чтобы проблема технологий, сделали вы очень крутую вещь как ни крути.
slamon
07.09.2021 20:41+3Дело не в английском. Уверен, что данную технологию легко можно будет адаптировать для любых других языков
gremlin244
07.09.2021 21:02Разумеется, я возможно плохо выразил мысль, имелось в виду что в целом с развитием таких надстроек для многих теряется смысл в изучении других языков. Я даже не уверен что это плохо в целом. А уж развитие таких технологий целиком и полностью одобряю. Но вот именно в социальном плане у меня какое-то смешанное отношение, чем больше костылей, тем больше людей потом без них не могут.
slamon
07.09.2021 21:28Не, осмелюсь сказать, что данная фича с автопереводом и изучение иностранных языков - немного разные вещи. Например, я довольно свободно владею английским, но вот с немецким у меня уже так себе. И если есть возможность прослушать интересную лекцию на немецком прямо сейчас, то данная фича - это прям отличная вещь
cepera_ang
08.09.2021 12:58+1Вся цивилизация — это набор таких костылей. Но если посмотреть с другой стороны — это не костыли, это рычаги и колесики — мультипликаторы усилий.
Как изобретение письменности убило оральную традицию, лук и стрелы убили копьё и охоту голыми руками, авторучка — убила гусиные перья, калькулятор — счёт в уме, транспортные контейнеры — грузчиков в портах, а фотоаппарат — портретных художников, так и автоперевод убьёт необходимость в изучении языков для большинства и излишнюю элитарность тех, кто всё-таки осилил. И всё это позволяет делать больше, прикладывая те же усилия.
cepera_ang
08.09.2021 12:53Любые "помощники для мозгов" приводят к двум вещам — большинству становится проще жить и они просто пользуются и они уделяют меньше внимания улучшению своих способностей, а меньшинству, которая владеет этими навыками становится еще понятнее в чём их ценность.
Cougar-03
07.09.2021 21:17андроид 11, я.браузер 19.6.4.366 - не работает
яндекс с алисой - видео развернуто на полный экран, поставил на паузу, в ожидании уведомления, висит с надписью "переводим еще 1мин" минут 10, отвисает, после выхода из полноэкранного режима и появляется перевод
не пользуюсь вторым, из за конфликта встроенной клавиатуры, с установленным отдельно приложением я.клава
а приложение я.клава, установлено по причине неработоспособности встроенной в "яндекс с алисой" - постоянно не активируется, когда требуется ввод
в свою очередь, на приложение я.клава, перешел с xperia keyboard, которым успешно пользовался не один год и только глюки с 10-11 андроидом, заставили искать альтернативув поддержку уже писал, ничем не помогли
хотя возможность отключить встроенную, было бы хорошим ходомтам же, в переписке с поддержкой, были озвучены пожелания, но пока не увидел ни какой реакции
BarakAdama Автор
07.09.2021 21:20Версия 19.6.4 вышла два года назад. Очень старая.
Cougar-03
08.09.2021 14:51хм.. а вроде более-менее современный аппарат (realme 7pro) и обновился недавно до 11 андроида
зашел в гплей, обновил вручную, появилась реклама анонса сабжа
Cougar-03
08.09.2021 15:39послушал перевод песни адель, из коммента ниже (https://youtu.be/-fmCoUjOMXU)
что могу сказать, это конечно здорово, но...
попрыгал по ссылкам ютуба, вернулся обратно к адель и все, нет ни перевода, ни предложения его сделать, ни кнопки активации этой функции
как и на других роликах
обновлял страницу, перезапускал браузер, бестолкукаким-то чудом, активировалась функция перевода
и не совсем понял - отдельная кнопка активации перевода будет?
или отдано на откуп автоматике?kukutz
08.09.2021 17:49Перевод осуществляется только по нажатию пользователем кнопки, автоматики нет.
Кнопка могла не появляться, потому что конфиги не доехали, может помочь рестарт.
Cougar-03
08.09.2021 19:19были:
* перезагрузка страницы
* перезагрузка браузера
кнопка не появиласьп.с.
имелась ввиду не та, что появляется и исчезает, а постоянно висящая
alan008
07.09.2021 22:12Ну, раз уж пошла такая тема, ждем тогда и приложение (или возможность в браузере) для синхронного перевода устной речи (хотя бы только с англ на русский для начала) .
BarakAdama Автор
07.09.2021 22:29+1Перевод разговора, кстати, уже есть в приложении Яндекс.Переводчика :-)
AigizK
08.09.2021 08:37А можно сделать не перевод, а просто распознавание языка? ???? А то иногда в оригинале то плохо распознается, но зная слова и контекст, можно додуматься о чем речь идет. А в переводе сделать сложнее.
chemistmail
08.09.2021 08:27Планируется ли индексация текста из видео для поиска?
Алиса упорно не хочет находить песни из роликов на русском языке, прошу песню по названию и исполнителю, но результата нет, а хочется)
Планируется ли индексация аудиороликов в разных форматах?Планируется ли возможность навигации по видео роликам по поисковому запросу, типа в запросе ключевая фраза, результат ролик стартующий с момента когда эта фраза прозвучала в первый раз?
Планируется ли кросс языковой поиск для иностранных языков, в смысле когда запрос вводится на одном языке, но результаты поиска включают в себя переведенные документы на других языках?
Результаты на сейчас, очень хорошие, Молодцы, но тот же гугл быстро вас догоняет в плане качества перевода.
Admz
08.09.2021 08:34Скажите, а когда вы наконец-то создадите установщик я-браузера с возможностью (как у всех известных браузеров) установки для "всех пользователей"?
axe_chita
08.09.2021 08:53Интересно, а функционал работы переводчика в обратную сторону (с русского на английский) планируется?
alan008
08.09.2021 09:22А целевая аудитория кто? )
axe_chita
08.09.2021 09:46Насколько я понимаю, автоматического перевода видео ни у кого нет? А значит сегмент рынка пуст, так что разве не логично застолбить его? Ну чтобы потом не было мучительно больно?
alan008
08.09.2021 09:56Яндекс по-моему и так уж каждый куст застолбил. В РФ по крайней мере. Для русских перевод на английский не особо востребован, а у Яндекса все-таки основная аудитория — это жители СНГ. Хотя, конечно, у самогО Яндекса может быть другое мнение.
Emulyator
09.09.2021 09:12+1Неоднократно видел комментарии англоязычных пользователей под русскими видео с просьбами перевести на английский. Конкретно это были уроки по 3д графике. Когда обучающий контент востребован/свежий/уникальный, то спрос будет на разных языках. Да, это капля по сравнению с морем развлекательного контента, но эта капля весьма полезная.
zz00zz
08.09.2021 09:40в них бывает много лишнего текста. Например, описание звуков (*аплодисменты*, *звук сирены* и т. д.) или указание имени спикера перед каждой фразой.
Этот текст отнюдь не лишний для глухих и смотрящих видео без звука (например, в транспорте в отсутствие наушников).
BarakAdama Автор
08.09.2021 09:40Вы правы. Подразумевал, что он лишний для синтеза. Сейчас это уточню в тексте.
gTolstoy
08.09.2021 09:40А вот по поводу отказа от распознавания речи, если загружены рукотворные субтитры. Я, возможно, параноик, но при наборе, например, стенограммы тоже можно ошибиться, неправильно услышать, да и просто написать отсебятину, и при загрузке это могут не проверить. Нет ли в планах как-то сравнивать соответствие содержимого аудиодорожки, и собственно субтитров?
axel23
08.09.2021 09:41Как делать перевод видео с закадровым на айфоне? Никак не могу найти. Ни в приложении Яндекс, ни в браузере Яндекса
BarakAdama Автор
08.09.2021 09:42В приложении Яндекс должно работать. Проверьте, свежая ли версия, и попробуйте несколько раз холодный перезапуск.
maxwolf
08.09.2021 10:53+1Интересно, есть шанс увидеть эту технологию (полностью, или частями) в виде standalone/offline продукта?
dab512
08.09.2021 12:16Было бы круто использовать официально загруженные русские субтитры в видео подобных этому.
https://www.youtube.com/watch?v=1-NxodiGPCU
AlexxIT
08.09.2021 15:26Что удалось найти:
Честера озвучивает женским голосом (в разных клипах повторяется) https://youtu.be/kXYiU_JCYtU
В Bon Jovi озвучивает вступление, но не озвучивает песню https://youtu.be/vx2u5uUu3DE
В Seven red lines есть несколько ошибок перевода, сильно нарушающих смысл. Удобно сравнивать с английскими субтитрами https://youtu.be/BKorP55Aqvg
dem0n3d
08.09.2021 16:05Это всё конечно хорошо, но когда уже добавите голосовой поиск в Кинопоиск для Android TV? Неужели это так сложно с такими то технологиями?
Kape21
08.09.2021 17:31И кнопочки для пропуска, вступлений/повторов, с мобилки приложение топ, но на телеке получше смотреть.
А по поводу голосового поиска, то в результатах системного есть КиноПоиск, конечно, если там есть искомый контент, ну и в параметрах ассистента галку надо поставить
А переводчик это прям хорошо, почувствовал себя в будущем, жалко, что я не смотрю развивающий контент на английском, но всё что пробовал перевелось прям очень достойно
artemerschow
08.09.2021 17:04Eminem — Godzilla (https://youtu.be/r_0JjYUe5jo) даже не появляется предложение перевода.
Eminem — Venom (https://youtu.be/8CdcCD5V-d8) появляется возможность перевода, глушит фон, но озвучка не появляется.
Eminem — Rap God (https://youtu.be/XbGs_qK2PQA) тут честно сообщает, что пока не может
Eminem — Lose Yourself (https://youtu.be/_Yhyp-_hX2s) переводит.
axe_chita
08.09.2021 17:19Опробывал переводчик видео, на знаменитых шотландцах застрявших в лифте с голосовым управлением;)
Результат пока не айс:)
Но с Hardware Scrolling — VGA from Scratch — Part 4 результат гораздо лучше, хотя и не идеален.
artemerschow
08.09.2021 17:21BarakAdama, боюсь вас обнадёживать или пугать, но похоже, что ваша нейросеть обрела сознание. Я не могу никак иначе объяснить тот факт, что в треке Killswitch Engage — The Signal Fire она перевела только слова «хватит» и «ни за что». Не удивлюсь, если этого вообще не было в тексте.
VSOP_juDGe
09.09.2021 15:43Спасибо, очень круто!
Немного багов:
на этом видео https://www.youtube.com/watch?v=mInXnfclnGc постоянно называет мотоцикл велосипедом, и часто почему-то сильно ускоряет речь
axe_chita
12.09.2021 08:17Голос ускоряется для синхронизации, чтобы уложиться в жесткие временные рамки.
shadwar
10.09.2021 09:47Многообещающе, но не хватает возможности подредактировать перевод, для обучения нейросетки, особенно это касается перевода различных терминов, которые по хорошему не должны переводиться вообще.
zamboga
10.09.2021 10:13Очень круто, спасибо. Киллер-фича, пиарю всем знакомым.
Не подскажете, когда будут другие языки, хоть примерно? Мне нужен немецкий и польский.
RadeG
10.09.2021 15:44+1Вам ребят надо договориться с Володарским и добавить его голос для синтеза, хайп будет неимоверный
musya9
13.09.2021 07:41+1Смотрю ежедневно теперь ролики по медицине зарубежных врачей, которых знала только по их изданным в России книгам. Теперь я невообразимо счастлива, что могу слышать их собственными ушами. Количество собранной ценнейшей информации из переведенных роликов превзошло все мои ожидания. Спасибо , что вы разработали и внедрили эту функцию.Возможно кому то вы поможете стать здоровым, а кому-то спасете жизнь.
Akr0n
15.09.2021 06:43Что за врачи такие интересные, поделитесь?
musya9
15.09.2021 08:13+1Daniel Amen, George Papanicolaou, Rangan Chatterjee, Joseph Mercola, Bruce Ames ,David Sinclair, Louis Ignarro, Josh Axe, Alberto Villoldo, Todd LePine , William Li , Elizabeth Boham, Mark Hyman, Max Lugavere. Это для начала. Их еще больше.
Akr0n
15.09.2021 11:39Спасибо. На Ютубе?
musya9
15.09.2021 12:23+1да, очень много роликов. Хайман вообще 14 лет снимал ролики. Столько упущено мною, что я не владею английским языком..Если бы не появился перевод, я бы так и ждала у моря погоды, когда кто нибудь книгу на русском издаст.. В школе нас поделили на 2 группы. Я попала против воли в немецкую. Английский я учила сама еще со школы, до появления переводчиков могла переводить любой текст со словарем. Но в диалогах на профессиональную тему я часть слов не узнавала..ну и все на этом. Сейчас у меня просто нет времени учить английский. Я работаю, и помом еще 6 часов смотрю ежедневно видео по профессии без выходных .. Яндекс мне откровенно помогает компенсировать мои недостатки. Я наивно надеюсь, что они оставят эту функцию. Не хотелось бы утром встать и бах, не работает опять...Тогда точно придется учить язык, одна из пациенток как раз директор языковой школы..
AVX
03.10.2021 17:55У нас в школе был только немецкий, и то временами и его не было - учителя приходили и уходили... Родители меня примерно в 8 классе стали возить к репетитору на английский, и в 10м классе я экстерном сдал экзамен за 11 класс по английскому, на отлично. В институте потом преподаватель особо интересовалась где и как я изучал английский. В такой довольно короткий срок у меня не было проблем с грамотностью, но был маловат словарный запас. А со временем это ещë как-то деформировалось - на английском в основном читаю технические статьи и книги, и большой перекос - спокойно на уровне подсознания понимаю смысл текста, но в обычной разноворной речи появляются проблемы, словарный запас имеет тоже большую роль...
Сейчас на многих англоязычных видео есть субтитры, ими и спасаюсь (плохо воспринимаю на слух). Так что новость про автоперевод просто отличная! Не знаю, как на линуксовой версии браузера это будет работать, надо попробовать. Бета версия меня когда-то чем-то не устроила...
lambadakursk
13.09.2021 13:51На самом деле выглядит как "Будущее уже наступило!" это очень круто! Давно переехал на Я.Браузер, у меня и умные колонки, и подписка, а теперь ещё и перевод видео! Дети оценили.
libroten
14.09.2021 05:40При этом даже ручные субтитры нужно пропускать через ту самую нейросеть. Как минимум потому, что в них бывает много текста, который не нужен для синтеза голоса. Например, описание звуков (*аплодисменты*, *звук сирены* и т. д.) или указание имени спикера перед каждой фразой
В музыкальных клипах заметил - если там есть субтитры, а в таких субтитрах в начале и конце строки субтитра есть символ ноты, то после попытки перевода прилетает сообщение, что не удалось перевести.
В музыкальных клипах, где нет субтитров вообще, или в них не расставлены знаки нот, все переводится прекрасно
nikodll
14.09.2021 15:22В сборке для Linux'а до сих пор даже демо-ролики не переводит. Сборка 21.8.0.1967 beta (64-bit)
odissey_nemo
14.09.2021 15:27-3Идеи оригинальные, но есть сомнения, что они - для пользователей.
Так, перевод текста на картинках - очевидное желание пополнить поток рекламы, которую иначе отсекает какой-нибудь adblocker. Текст на картинках очевидно - попытка донести рекламу до зрячего юзера. Теперь её станет больше.
Про перевод видео - абстрактно может быть интересно и абстрактному пользователю. Конечно, если можно будет переводить произвольное видео, а не только то, что проплачено в виде рекламного контента в самом Яндексе.
Увы, если переводиться картинки и видео только с рекламными целями, пользы для нашего, пользовательского разума - никакой. Это я предполагаю, что пока средний пользователь рекламой не живёт. а от неё бежит.
Надеюсь, я не прав)) Только будущее описанных технологий покажет. что есть ху!
AVX
03.10.2021 18:03Почему только реклама? Можно при качественной проработке этой фичи сделать еë доступной только по подписке. Ну или хотя бы только после авторизации в яндексе.
Stad_13
14.09.2021 23:02На iOS 14.7.1 в приложении Yandex кнопка перевода не появляется. Перезапускал несколько раз. Удалил и повторно установил приложение. На андроиде работает.
BarakAdama Автор
14.09.2021 23:02Перезапуски точно холодные были? То есть с выгрузкой из памяти.
Stad_13
15.09.2021 09:01Да, с выгрузкой из памяти. Причём не работает только в YouTube, в Vimeo работает. Может что не так делаю?
BarakAdama Автор
15.09.2021 10:04А можете ссылку на ролик прислать?
Stad_13
15.09.2021 10:35Пробовал разные видео, вот это например https://youtu.be/ZFktgO8hLhM
Причём эти же видео на смартфоне с андроидом нормально переводятся.
Stad_13
15.09.2021 10:42
BarakAdama Автор
15.09.2021 12:43А попробуйте открыть это видео прямо на ютубе, а не через поиск видео.
nae
16.09.2021 13:59Надо было перевести видео какого-нибудь китайского ученого - вот там большему числу людей станет очевидна польза от машинного (хоть и кривоватого) перевода ;)
Жалко что перевод не проводит анализ текста и не оставляет без перевода не нагруженные смыслом фразы.
Daden4ik
18.09.2021 21:55Это же просто бомба. Если выцепить с видео тембр голоса, то это же воще будет почти локализация.
h3rbalist
18.09.2021 21:56Кто-нибудь пробовал на лайв трансляциях? Проверял на обычных роликах результат меня приятно удивил, да туфты в переводе хватает и наверно ещё долго будут с этим бороться, но голос хорош, редко когда выдаёт синтетику происходящего и заметно что перевод по предложениям ну или осмысленным законченным фрагментам, что добавляет жизни в происходящее, ещё бы настройки для громкости дорожек оригинала и перевода...
alex50555
18.09.2021 21:56Вот на этом видео звук оригинала получается очень громким https://youtu.be/7mMvDsMcaWY
andr2610
18.09.2021 21:56Планируется ли добавить синхронный перевод речи в Яндекс Телемост? И если да, то когда:) Спасибо.
igortarasenko
18.09.2021 21:56Вот она, долгожданная смерть переводчиков! Нас всех заменят роботы! А мы станем счастливыми бездельниками. А с открытием технологий отмены старения — ещё и бессмертными ????
И это правильно. Всякая деятельность паразитирует на нас. Мы живём в мире культурных и природных мемов, которые нагло используют нас. Любишь женщин — учись быть приятным любишь еду — учись держать ложку. А царство пофигизма-то когда наступит? Пока что мы — лишь унылые Средства для природы и культуры. А я не хочу быть средством, я хочу стать ЦЕЛЬЮ мироздания!
Хочу расчеловечиться, перейти в техногенную послежизнь, слиться со всем миром в компьютрониум и пронзить разумом Вселенную. Вычислительная машина таких размеров наверняка найдёт способ изменить законы физики, отменить остывание космоса. И как только мы победим энтропию, возникнет бессмертие. Только истинное, а не в религиозных сказках.
Курцвейл, 2045 год, сингулярность. Я стану единственной сущностью в мироздании. А для вас такой сущностью станете вы. Всё равно любить другого невозможно, но можно стать им!
Кого любить, кому же верить,
Кто не изменит нам один?
Кто все дела, все чувства мерит
Услужливо на наш аршин?
Призрака суетный искатель,
Трудов напрасных не губя
Любите самого себя,
Достопочтенный мой читатель.
Предмет достойный, ничего
Любезней, верно, нет его.
Вот на какие мысли меня наводит новая фича от Яндекса. А скоро ведь и секс-роботы подтянутся, и эмбрионов из клеток кожи уже делают. Скоро притяжение М и Ж больше не понадобится для зачатия новой жизни. А в мире победившего трансгуманизма и надобность зачинать её попадёт. Жить будут только те, кто уже родился. А поскольку мы сольемся в компьютрониум, то жить буду только Я!
CopyBook-Maxim
18.09.2021 21:56Может уже был вопрос, но не планируется ли введение данной фичи для локально воспроизведимых видео? Сам файл видео находится на компьютере, браузер используется как плеер. В Chrome есть такая фича, но там они создают только субтитры (на англ языке, которые к сожалению даже найти не удается, хотя пишется, что субтитры хранятся локально).
Felix14_v2
19.09.2021 15:53+1Как вариант, можно видео загружать на свой ютуб-канал и там его переводить браузером.
Cornetco
18.09.2021 21:57Огромное спасибо! Пожалуйста, научите нейронку при переводе убирать слова паразиты ;) Еще был ролик с ошибочным определением пола спикера, может стоит еще видеоряд стравливать нейронке и определять пол по картинке, плюс контекст перевода будет понятен и sin уже не будет переводиться как грех, а останется синусом :)
ellcrysx
18.09.2021 21:57Планируется ли добавить фичу для не общедоступных видео? Например, на всяких порталах обучения
Felix14_v2
19.09.2021 01:24Напишу пару мыслей об имеющихся проблемах и возможных способах их решения.
На данный момент самой главной проблемой текущего подхода к переводу является разница в ёмкости информации на единицу времени. Из-за этого некоторые фразы звучат хорошо, а некоторые, как в той перемотке после рекламы по радио ("не является публичной офертой ... бла-бла-бла-неразбериха... проконсультируйтесь со специалистом").
По моему мнению, самым удобным решением тут было бы местами замедлять видео для увеличения времени на воспроизведение фразы. А ещё лучше гибридный подход – немного ускорять закадр и немного замедлять воспроизведение видео.
Понимаю, что основной проблемой тут будет доступ к плееру на сайте. Но почему бы не поместить эту функцию в плеер самого браузера, отвечающего за воспроизведение в отдельном окне? Как по мне, довольно "смотрибельное" решение. Лично я почти только так и смотрю видео, пока сижу на других сайтах.
Сейчас реально ощущается нехватка настроек перевода и воспроизведения закадра. Это решение могло бы стать одной из них.
Кстати, ещё одна мысль. В статье упоминается, что распознанный текст проходит процедуру постобработки. Думаю, было бы неплохо включить в эту процедуру опциональную замену длинных слов на более короткие синонимы-эквиваленты. Это бы дополнительно позволило уменьшить проблему рассинхронизации темпов голоса. Да, на сервере придётся сохранять несколько вариантов перевода на выбор клиентов, но одной проблемой будет меньше.
Почему это должно быть в виде опции и на выбор клиента? Думаю, перевод с заменой прямых значений слов их синонимами нельзя считать полностью правильным, особенно в некоторых специфических ситуациях. Опциональность тут как нельзя кстати.
P.S. Верните закладки, задолбался уже через файлы браузер ломать :)
Emulyator
19.09.2021 13:30Думаю, вариант замедлять видео неплох, но как один из нескольких, на выбор пользователя, т.е. для роликов, в которых это приемлемо для конкретного зрителя. Я бы еще рассмотрел вариант полной остановки, имитирующей паузы лектора, работающего в паре с переводчиком в привычной реальности и вариант некоторого рассинхрона, когда переводчик не всегда успевает и заполняет переводом изначально существующие паузы в оригинальном видео. Понимаю, что это требует более сложных алгоритмов обработки, и наверняка уже обсуждалось, а возможно и тестировалось разработчиками, но я бы с удовольствием посмотрел на такие тесты.
Еще хотелось бы иметь возможность улучшать качество перевода, предлагая использовать более привычный в контексте конкретного видео/серии роликов перевод слова или сочетания слов. Резануло ухо - поставил на паузу, открыл кнопочкой оригинал и перевод последних фраз, и выбрал более благозвучный перевод нужного слова. Еще лучше, если система перевода сама или с помощью пользователя выбирала бы контекст (например: наука математика/разработка под IOS /медицина стоматология), где специфические термины и обороты уже учтены.
Felix14_v2
19.09.2021 15:49Поддерживаю. Как показал опыт расширения SponsorBlock для YouTube, юзер-модерация – самый надёжный и "бесшовный" способ работы технологии. Да и Реддит уже долгие годы работает по принципу юзер-модерации, и работает превосходно.
Кстати, к теме настроек. Мне, как культурному человеку, очень хотелось бы видеть галочку "не переводить ненормативную лексику". А то в видео иногда проскакивает, но слышать бы такое я точно не хотел.
Olololenka
27.09.2021 21:37Если открыть Яндекс.Диск в Яндекс.Браузере, то нет возможности перевести видео. Это кажется странным. Будет ли такая возможность?
Cougar-03
30.09.2021 20:59когда видео открывается внутри яндекса, но не в яндекс браузере (firefox), то из такой конструкции уже не может переводить?
https://yandex.ru/video/preview/?filmId=3002036260581400284&from=tabbar&text=Sin%C3%A9ad+O%27Connor
axe_chita
27.10.2021 19:46Добавим пару минут юмора от нейросети в переводе рунглиша на обычный гражданский русский:)
Требования к браузеру: Яндекс-Браузер с функцией перевода видео
iva2000
31.10.2021 09:46Пожалуйста, сделайте вот так:
https://www.rev.com/transcript-editor/shared/XXp__o2HoqM3PwhTJhoC1IR7orPXC6Nj6Ej5Vax8536zIvvOL7cv_AqaOgXBt29yrCMoG5EvRa-Lczrlgd-kwNglPgU?fbclid=IwAR08JH_WDxzR26YhYOUE5DJUfCi_-SCFiTzY5ZW7_naFsBhZ577Eg5jsXcQ
Только с двумя колонками - на английском и параллельно на русском.
MrPeso4ko
15.11.2021 15:07@BarakAdama, вы собираете ещё фидбек? https://www.youtube.com/watch?v=gkoo2V7YSdE&t=34s в этом видео ручные субтитры указаны как английские, но на деле они испанские, из-за чего перевод не работает от слова совсем.
shvirda
15.11.2021 15:07Это фантастика, которая просто поднимает рейтинг, как самого Яндекса, так и его браузера. Шах и мат, респектище!!!!
jknight
Вот честно, лучшая фича браузера, что у вас есть - это возможность в мобильнике перетянуть адресную строку вниз. Еще есть в лисе, но глючно оно там. А больше нигде и не видел.
Одна беда - перед тем, как этим браузером возможно пользоваться, надо пролезть пару десятков менюшек, снять пару десятков галочек, грохнуть кучу ссылок с главной страницы, вырубить голосового помощника, и т.д.
Посоветуйте мне кто-нибудь годный мобильный браузер без кучи ad/bloatware в комплекте с адресной панелью снизу?...
Shedal
Safari в iOS 15
TITnet
К сожалению, Safari в iOS 15. Это жутко неудобно, надеюсь, что вернут возможность вернуть адресную строку туда, где ей место, т. е. вверху.
regint
Не принимаю что за минусы у вас. Полностью с вами согласен по поводу настройки. Преднастроеный всплывающий мусор это жуть. Ещё одна мерзость из свежих, это не возможность добавлять закладки без авторизации. За это быдлокодерам руки бы поодбил. Как им теперь пользоваться нормально, если ОСБ запрещает такие методы автоматизации. Старая традиция русских произведенной ПО, агресивное навязывание новых функций.
kukutz
Закладки без авторизации добавлять можно, этот период давно прошёл.
Felix14_v2
К сожалению, не всегда. Судя по моим наблюдениям, после определённого количества циклов перезапуска браузер снова начинает блокировать закладки. Последняя версия, на которой это проверял – 21.8.2.381 (то есть, довольно свежая).
Felix14_v2
Ещё 2 года назад, когда они ввели блокировку закладок, нашёл способ их вернуть через установку старой версии браузера и принудительную блокировку обновлений. Хотел даже ролик записать на эту тему, да как-то всё улеглось и прошло стороной.
Однако новые функции в новых версиях браузера манили искать новые обходные пути, и недавно я всё же добил это дело, теперь пользуюсь закладками на новых версиях браузера, без авторизации. Возможно, ещё не поздно снять гайд по возвращению работы закладок?..
Chaos_Optima
Vivaldi умеет