Сбер создал инструмент для подключения голосового управления в AR и VR приложениях

Команда SberDevices создала набор программных инструментов (Software Development Kit), который позволяет разработчикам приложений с дополненной или виртуальной реальностью добавлять качественное голосовое управление на русском языке. Эта разработка может быть использована для расширения функциональности игровых и образовательных VR-проектов, в виртуальных примерочных, а также при создании метавселенных.

Решение позволяет без дополнительной разработки подключать в приложения, в том числе работающие с VR-шлемами, технологии распознавания и генерации речи SmartSpeech от SberDevices. Например, в приложении для виртуального офиса разработчик сможет добавить функцию создания заметок с помощью голосового ввода. В приложение для проведения VR-конференций можно встроить функцию добавления новых участников голосовой командой, например: «Позови Андрея».

Голосовое управление важно и в навигации по виртуальному пространству: оно даст возможность пользователю перемещаться с помощью голосовых команд, например, «телепортируй меня в гостиную». Приложения с виртуальной и дополненной реальностью для смартфонов часто предполагают необходимость держать телефон перед собой, управление голосом освобождает пользователю руки и может сделать этот опыт более комфортным и безопасным.

Денис Филиппов, CEO SberDevices, вице-президент по цифровым поверхностям Салют Сбербанка: «Возможность голосового управления особенно актуальна в виртуальной и дополненной реальности, поскольку воспринимается как более естественное продолжение реального опыта взаимодействия в трёхмерном пространстве. А благодаря тому, что SDK создан для лёгкой интеграции SmartSpeech API в продукты, разработанные на одной из самых популярных платформ — Unity, — воспользоваться добавлением голосового управления в свои приложения сможет значительное число разработчиков».

SmartSpeech — сервис, разработанный командой SberDevices, который позволяет без специального оборудования подключать речевые технологии в интерактивных голосовых меню (IVR), автоответчиках, чатах, телемаркетинговых компаниях, голосовых интерфейсах взаимодействия, для озвучивания контента и команд или голосового ввода на устройствах и сайтах. Платформа сама распознаёт и синтезирует речь, а также способна использовать «подсказки», помогающие максимально правильно понимать пользователя, в зависимости от конкретной ситуации. Работа сервиса построена на двух технологиях — распознавания и синтеза речи. Они могут использоваться вместе и по отдельности. При этом сервис реализует множество дополнительных функций, таких, например, как гибкое управление синтезом, распознавание эмоциональной окраски речи и т. д.