Нейросеть учит ТВ-контент подстраиваться под рекламу

Платформа VTS, разработанная «ГИД Дата» по заказу «Газпром-Медиа», помогает телеканалу Пятница найти подходящее место в телешоу для нативной рекламы. С помощью ИИ платформа анализирует архив из пяти тысяч часов видео и находит в нём подходящие места. Раньше поиск осуществлялся вручную, теперь нейросеть сама определяет, где герои говорят о чем-то, что можно прорекламировать.

Сегодня контент, создаваемый для телеканалов, всегда выкладывается на стриминговые платформы. При этом в силу законов об обязательной маркировке этой рекламы, далеко не всегда реклама, размещенная в эфирной версии контента (которая под действие закона не попадает), подходит для цифровой копии. При этом в версию для стриминговых платформ телеканал может продать дополнительные рекламные интеграции, было бы куда их вставлять. С поиском таких мест в контенте и справляется VTS.

Как VTS ищет места под интеграцию? За счёт глубокого анализа видео система распознаёт героев, предметы, эмоции и другие триггеры, заданные поиском, в кадре и аудиоряде. По запросам вроде “директор”, “праздник” или “предприниматель” она выдаёт тайминг сцен, куда может встроиться нативную интеграцию, например, банка в момент, когда участники шоу обсуждают бизнес. Отдельный модуль отслеживает цвета, чтобы интеграция не выбивалась из общей картинки: если бренд использует зелёно-белую палитру, система ищет сцены в тех же тонах.

В основе платформы сочетание компьютерного зрения, нейросетевого анализа аудио и видео и распознавание речи. Помимо рекламы, инструмент помогает автоматически собирать промо-ролики и субтитры.

Похожие технологии применяли и за рубежом. Fox Sports использовал мультимодальный искусственный интеллект, чтобы «оцифровать» 30-летний архив объёмом около 30 петабайт. Система научилась распознавать объекты, логотипы и эмоции, а поиск нужных фрагментов теперь занимает секунды вместо недель. Правда, использует это канал не для показа рекламы, а для создания промо-роликов и работы с архивами.