«Автоматический перевод видео открывает перед людьми целый мир, который был недоступен из-за языкового барьера, — говорит руководитель Яндекс.Браузера Роман Иванов. — Полностью стереть языковые границы в интернете — одна из наших главных задач. Мы приступили к её решению ещё в 2011 году, и сейчас умеем переводить все основные виды контента: текст, изображения, видео. Дальше мы будем добавлять в перевод видео новые языковые пары и голоса, помогая людям узнавать новое и получать от этого удовольствие».
Сейчас можно перевести практически любое видео на английском языке на YouTube, Vimeo и ещё нескольких популярных платформах. Перевод доступен в Яндекс.Браузере для Windows, macOS, Linux и Android и в приложении Яндекс для Android и iOS.
Перевод происходит в несколько этапов. Сначала Яндекс распознаёт речь, превращает её в текст и с помощью нейронных сетей разбивает на предложения. Потом определяет пол говорящего, переводит предложения на русский язык и синтезирует голос. Остается совместить перевод с видеорядом. Это совсем не тривиальная задача, потому что в русском языке предложения длиннее, чем в английском. Здесь на помощь снова приходят нейросети. Подробности можно узнать на «Хабре».
Чтобы посмотреть видео в русской озвучке, нужно нажать на кнопку в плеере и немного подождать. Процесс перевода занимает несколько минут. Когда всё будет готово, придёт уведомление.