Умная камера Яндекса научилась распознавать еду, машины и уравнения

Яндекс объявил о масштабном обновлении умной камеры. Теперь с её помощью можно узнать, сколько белков, жиров и углеводов в чипсах, что за необычный автомобиль припаркован у дома или как решить квадратное уравнение — для этого достаточно навести на них камеру или сфотографировать. В основе новых возможностей лежат поисковые технологии и компьютерное зрение.

«Визуальный поиск — это принципиально иной способ искать информацию. Вам даже не нужно формулировать вопрос, вы просто наводите камеру на объект и узнаёте о нём всё. Мы верим, что за визуальным поиском будущее, и смотрим, как люди реагируют на умную камеру, что им нравится, а что нет. Это помогает нам понять, куда двигаться дальше, чтобы камера становилась более удобной, функциональной и полезной для пользователей», — рассказывает Елена Бондарь, руководитель умной камеры Яндекса.

Умная камера улучшила поиск по продуктам питания. Теперь она не только находит их в интернете, но и даёт подробное описание. Стоит навести камеру на пакетик сока или плавленый сырок, и она покажет их состав: количество жиров, белков и углеводов; наличие сахара и ГМО; содержание микроэлементов. А также — сколько в продукте калорий и как долго нужно плыть или бежать, чтобы их израсходовать.

Если навести камеру на автомобиль, она покажет его описание: марку, модель и технические характеристики. Человек сможет понять, что за машина перед ним, какая у неё мощность, скорость и расход топлива. Технические характеристики снабжены коротким и ёмким пояснением: например, «разгоняется как спринтер» или «вместительная, как сундук».

Умная камера подскажет порядок действий для решения линейных и квадратных уравнений. Для этого достаточно перейти в режим «Решения» и сфотографировать задание. Кроме того, камера поможет найти обучающие видео, которые подробно объясняют решение задач такого типа.

Пользоваться камерой стало удобнее. Если интерес вызвало что-то мелкое, теперь можно приблизить изображение с помощью зума. Появилась возможность сфокусировать камеру на интересующем объекте. А если его нет перед глазами, можно загрузить фото из галереи. Кроме того, появилась фронтальная камера. Она позволяет показать камере самого себя — например, чтобы она нашла стихотворение (поиск стихов по изображению работает в режиме «Поэзия»).

Умная камера была запущена весной этого года. Она умеет также сканировать документы, переводить текст и распознавать предметы. Например, она подскажет название цветка, породу собаки или магазин, где можно купить понравившуюся вещь. Камера доступна в приложении Яндекс для iOS и Android. Чтобы её включить, нужно нажать на иконку камеры в поисковой строке.