Яндекс Браузер научился сохранять оригинальные голоса и интонации людей в синхронном переводе видео

Как работает новый перевод? Включается он там же, где и предыдущая версия — во всплывающем меню плеера. Только выбрать нужно опцию «Живые голоса». Как он звучит — можете посмотреть в прикреплённом видео.

Такого результата получилось добиться благодаря новой нейросети, которая обучена на сотнях тысяч видео и аудио и умеет анализировать речь, выделять тембр, ритм, интонации, чтобы потом их воспроизвести.

Важно учитывать ограничения:
• Во-первых, перевод доступен только для английского языка — логичный выбор, учитывая, что больше половины видео на Ютубе на английском. Для других языков всё ещё можно использовать предыдущую версию.
• Во-вторых, перевод не мгновенный — в первый раз придётся открыть видео, нажать на кнопку «Живые голоса» и какое-то время подождать. После этого он доступен при повторном открытии видео и на других устройствах, второй раз ждать не надо.
• В-третьих, перевод всё ещё работает не идеально — могут не там стоять ударения, неправильно склоняться окончания.

Но это всё мелочи, конечно. Главное помнить, что это не инструмент вроде HeyGen или ElevenLabs, с полным дубляжем и липсинком. Это прокаченный переводчик, который довольно неплохо, быстро и бесплатно может перевести лекцию или интервью на русский язык. Получилось неплохо, тем более пока у конкурентов этого функционала нет.