Яндекс Браузер научился передавать оригинальные голоса и интонации при переводе видео

Яндекс Браузер запустил перевод видео нового поколения. Нейросети, которые Браузер задействует в закадровом переводе, научились передавать оригинальные голоса и интонации героев видео.

Ролики, переведённые в Браузере с английского, теперь звучат так, словно их герои владеют русским. Браузер стал использовать новую нейросетевую модель, которая анализирует англоязычную речь, выделяет тембр, ритм, интонации и воспроизводит их в переводе. Для этого модель дополнительно обучили на сотнях тысяч примеров аудио.

С переводом нового поколения пользователи теперь могут получать более яркие эмоции от просмотра видео. Это особенно касается роликов, в которых важны особенности речи их участников: записей живых выступлений, скетчей, речей известных людей.

Браузер также стал точнее переводить смысл сказанного в видео. Теперь он учитывает стилистические особенности речи, что делает формулировки более естественными. Модель на основе YandexGPT, использующаяся в переводе видео, была признана лидером по качеству перевода с английского на русский язык по итогам международного независимого бенчмарка DiBiMT.

Перевод нового поколения уже доступен в Браузере во время просмотра роликов, опубликованных на YouTube, в Поиске Яндекса, на VK Видео, Дзене и Rutube. Его могут включить все пользователи, авторизовавшиеся в Браузере через Яндекс ID. Перевод можно выбрать в панели, которая появляется при просмотре видео в Браузере.