Модели четвёртого поколения уже доступны по API в Yandex Cloud, часть функций пока работают в тестовом режиме. Новые модели применимы в разных сферах бизнеса. С их помощью можно сортировать письма и заявки клиентов, анализировать резюме и решать другие задачи, связанные с обработкой текста. Версия Pro больше подходит для сложных трудоёмких задач — например, анализа продаж. Lite будет полезна в более простых сценариях, где важна скорость ответа. Попробовать новые модели можно в демоверсии — в чате на платформе Yandex Cloud. В будущем они появятся в сервисах Яндекса для широкой аудитории. Первым таким сервисом станет Алиса с опцией «Про».
Качество ответов
По качеству ответов YandexGPT 4 Pro выигрывает у модели прошлого поколения в среднем в 70% случаев, а в некоторых типах задач — например, в ответах на открытые вопросы — вплотную приближается к GPT-4o. Версия Lite отвечает не хуже самой мощной модели Яндекса прошлого поколения. Это стало возможным благодаря улучшению процесса обучения. В частности, разработчики научили нейросеть рассуждать — на примерах с пошаговым решением задач.
Рассуждения
Модели нового поколения способны рассуждать (поддерживать функцию chain-of-thought). Прежде чем ответить на сложный вопрос, они разбивают задачу на более простые и решают их пошагово, выстраивая цепочку рассуждений. Это не только улучшает качество ответов, но и помогает нейросети отвечать на вопросы, которые требуют анализа. Например, новая модель способна изучить жалобу клиента, разобраться в проблеме и предложить выход из ситуации. В будущем в API появится возможность включать скрытые рассуждения для всех запросов.
Обработка данных
Нейросети нового поколения обрабатывают в четыре раза больше текста, чем модели третьего поколения. В итоге они гораздо дольше удерживают контекст беседы, могут отвечать на сложные длинные вопросы и анализировать порядка 60 страниц текста. Новые модели лучше отвечают на вопросы с опорой на внешние источники (применяется в системах RAG, Retrieval Augmented Generation). Такими источниками могут быть, например, документы компании или статьи. Доля ошибок, в том числе выдуманных фактов, снизилась в таких сценариях почти в два раза — с 4% до 2,1%. Кроме того, новые модели в среднем в два раза быстрее предыдущих отвечают на вопросы.
Работа с внешними приложениями
YandexGPT 4 умеет генерировать команды для сторонних приложений. Например, если попросить нейросеть найти билет на самолёт, она напишет команду для сервиса авиабилетов, чтобы он запустил функцию поиска мест. Генерация команд станет доступна в Yandex Cloud в ближайшее время, и разработчики смогут использовать новые модели для работы с внешними приложениями. Для этого им нужно будет описать функции и правила составления команд, а модель будет сама определять, когда ими воспользоваться.