Amazon научил камеру искать товары в реальном времени

Amazon представил обновление умной камеры Lens Live, которое убирает необходимость нажимать кнопку затвора при поиске товаров. Теперь камера работает непрерывно, а нейросети сразу определяют объект на экране и показывают товар из магазина. По картинке можно тут же выбрать вещь, добавить её в корзину или в избранное. Камера доступна в приложении Amazon Shopping для iOS и Android.

Lens Live работает благодаря связке компьютерного зрения и генеративного ИИ. Лёгкая модель распознавания объектов запускается на самом смартфоне и выделяет ключевые предметы в кадре, а дальше система сопоставляет их со всеми позициями на Amazon с помощью визуальных эмбеддингов. Это позволяет сравнивать не пиксели, а смысловые вектора товаров и очень быстро показывать похожие результаты.

Поверх этого в камеру интегрировали обновленного недавно ассистента Rufus, наделив его агентными возможностями. Он может не только ответить на вопросы по товару, но и добавлять их в корзину, мониторить цену и покупать (подобное сейчас делает и Яндекс). Теперь можно навести камеру на чашку в кофейне, найти идентичный товар и сразу поручить ассистенту купить его, если цена упадет ниже определенного уровня. Человека постепенно убрают из процесса оформления заказа, оставляя только целеполагание и активно стимулируя спонтанные покупки.