Теперь по запросу [как приготовить стейк из тунца] Яндекс не просто покажет видеорецепт, а предложит пользователю сразу включить видео с того места, где рассказывают суть. Для того чтобы найти нужный фрагмент, поиск сопоставляет смысл запроса с содержанием видео: и с картинкой, и со звуковой дорожкой. Поиск фрагмента видео работает для разных инструкций, не только кулинарных. Например, можно быстро узнать, [как помыть собаку] или [как научиться кататься на скейте]. Новая функция доступна на мобильных устройствах и появится на компьютерах в ближайшее время.
В поиске Яндекса стало больше быстрых ответов, и они стали разнообразнее. Теперь пользователи могут спросить, [как приручить лошадь в майнкрафте], или [скрытые фичи айос] и получить ответ прямо в результатах поиска. Кроме того, в поиске появился новый тип быстрых ответов. Они помогают подробнее изучить тему запроса, показывая запросы других пользователей по этой теме и ответы на них. Например, если спросить в Яндексе, [как открыть ип], поиск предложит ответ и на этот, и на связанные вопросы: кто может открыть ИП, сколько это стоит и другие. Сейчас поиск Яндекса показывает более 130 миллионов уникальных быстрых ответов в месяц.
Для запросов, которые лучше задавать не текстом, а изображением, в приложении Яндекс работает умная камера. Она умеет на лету находить и распознавать объекты, подсказывать, сколько они стоят и где их можно купить, переводить с иностранных языков, делать и автоматически улучшать сканы документов. Яндекс обновил технологию умной камеры, и теперь она стала в пять раз лучше распознавать объекты в кадре в реальном времени и показывать информацию про них.
Люди часто выбирают кафе, магазины и другие организации по отзывам. Для того чтобы люди могли быстрее принять решение, Яндекс начал анализировать отзывы, обобщать их и показывать в результатах поиска визуальную шкалу оценок. Скажем, если задать запрос о каком-нибудь ресторане, поиск покажет, как другие посетители оценили кухню или персонал.
Пользователи приложения Яндекс на iOS и Android могут включить автоматический определитель номера, чтобы избавиться от нежелательных звонков и не тратить время на общение со спамерами. В июле АОН научится не только определять, но и автоматически блокировать или заглушать такие звонки.
Основа большинства улучшений — глубокие нейросети, обученные на огромных массивах данных. Именно нейросети определяют смысловую близость текста и видео, чтобы найти самый релевантный фрагмент. Такие нейросети определяют тональность отзывов, которые оставляют люди, и отвечают за визуальный поиск в умной камере.
В обновлении Y1 Яндекс впервые применил новые генеративные нейросети YaLM. YaLM — это семейство языковых моделей, которые умеют генерировать тексты на русском языке. Благодаря новым языковым моделям Алиса всё лучше ведёт беседы: с их помощью она генерирует уже 17% реплик. Кроме того, YaLM используется для составления подзаголовков объектных ответов, например может написать, что «Война и мир» — это роман Льва Толстого, а бигль — охотничья собака. YaLM также применяется при ранжировании быстрых ответов в поиске Яндекса. Модели YaLM обучены на терабайтах русских текстов, а самая мощная из них содержит 13 миллиардов параметров.