Роботам теперь можно показывать вместо того, чтобы программировать

Американский стартап Generalist, который разрабатывает ИИ-модели для роботов, показал GEN-1.5. Предыдущей GEN-1 для освоения новой задачи требовался примерно час целевых данных. Теперь можно просто показать новое действие – например, загрузить видео и дополнительную информацию с сенсоров – и использовать эту демонстрацию как промпт. Робот смотрит, как открыть банку, расстегнуть молнию или достать предмет, а затем пытается выполнить ту же задачу уже самостоятельно и в немного других условиях.

Потенциально это открывает возможности, знакомые по чатам с ИИ-агентами. Вместо того чтобы заранее обучать робота каждой возможной операции, можно хранить библиотеку навыков и в нужный момент загружать подходящие примеры. GEN-1.5 уже умеет получать сразу несколько таких «физических промптов», соединять их и самостоятельно связывать отдельные этапы. В итоге можно не пытаться научить одну модель сразу стирать, гладить и готовить, а в нужный момент подгружать ей примеры нужных навыков.

Пока всё работает только с простыми короткими задачами, а показанный навык существует в контекстом окне и не сохраняется после выполнения. То есть о самообучении роботов речь не идёт. Но в перспективе такая система может заметно упростить создание универсальных роботов, где базовая модель отвечает за зрение, движения и понимание окружающего мира, а конкретные навыки получает по мере необходимости. Заодно это может сократить объём данных, которые приходится собирать для каждой новой задачи – сейчас для этого создаются целые фермы для обучения роботов складыванию полотенец.