DeepSeek ускоряет ответы ИИ

DeepSeek выпустила DSpark – модуль, который ускоряет ответы языковой модели без замены самой модели и без нового железа. Он работает с DeepSeek-V4-Flash и DeepSeek-V4-Pro: первая версия рассчитана на более быстрые ответы, вторая – на более сложные задачи. Модель остаётся той же самой, но во время генерации текста тратит меньше вычислений на выдачу ответа.

Обычно чат-бот пишет ответ по шагам: выбрал следующий фрагмент текста, снова запустил большую модель, пошёл за следующим. DSpark добавляет малую черновую модель, которая заранее предлагает несколько следующих фрагментов. Большая модель проверяет их сразу пачкой: если первые фрагменты совпали с тем, что она сама бы написала, они сразу попадают в ответ. Как только предложенный фрагмент не совпал, проверка останавливается, большая модель берёт свой вариант для этого места, и следующий раунд начинается уже от него.

Для DeepSeek это часть основной стратегии развития ИИ – делать модели не столько больше, сколько эффективнее при том же качестве ответа. Компания уже работает с архитектурой, памятью и распределением нагрузки, а DSpark решает ту же задачу на этапе выдачи ответа. По заявлению DeepSeek, в её серверной нагрузке текст доходит до пользователя примерно на 57–85% быстрее. Компания выложила DSpark в открытый доступ: опубликованы код для обучения и проверки таких черновых моделей, а также готовые варианты не только для DeepSeek, но и для Qwen и Gemma. При этом есть и сложности – черновую модель всё равно нужно отдельно обучить под большую модель, а выигрыш зависит от железа, длины ответа и нагрузки.