В AI Assistant API уже реализована функциональность ответа LLM на основе данных компании. Это могут быть, например, документы организации или статьи. Можно подгрузить файлы в формате PDF, DOC, TEXT или XLS в модель, и она будет отвечать на вопросы пользователей с опорой на них. Сервис работает таким образом за счет метода RAG (Retrieval Augmented Generation) — задается контекст в виде фрагментов текста, на базе которых LLM должна скомпоновать ответ.
“В реальных бизнес-кейсах важно, чтобы модель умела отвечать на вопросы клиентов, основываясь на базе знаний компании. Это позволяет в разы сокращать долю ошибок и выдуманных фактов при ответах. При этом не во всех компаниях есть выделенные команды data-science, которые могут адаптировать YandexGPT под конкретные бизнес-сценарии. AI Assistant API помогает упростить этот процесс и легко внедрять нейросети в приложения”, — рассказал Григорий Атрепьев, директор по продуктам Yandex Cloud.
Сервис работает с новым поколением языковых моделей YandexGPT 4. Новая линейка включает мощную языковую модель Pro и облегчённую версию Lite. Они превосходят по качеству ответов предыдущие версии, способны рассуждать и обрабатывать в четыре раза более длинные запросы — порядка 60 страниц текста. Кроме этого, с помощью моделей последнего поколения скорость генерации ответов увеличилась в 2 раза.