Сбер выпустил Kandinsky для обучения роботов

Сбер опубликовал Kandinsky WM 1.0, семейство моделей для создания синтетических видео, на которых можно обучать роботов, беспилотные автомобили и промышленные системы. На вход подают исходный кадр и описание ситуации, после чего модель генерирует её пятисекундное продолжение. Так можно получить редкие или опасные сцены, которые сложно снять вживую, например падение груза, сложный манёвр на дороге или сбой на производстве. Такие ролики добавляют к реальным данным и используют при обучении систем компьютерного зрения. Код и веса модели выложили в открытый доступ.

За основу взяли Kandinsky 5.0 Video Lite и дообучили её на записях с дорог, роботов и производств. Использовали открытые датасеты и собственные данные Сбера, их соотношение компания не раскрывает. Автомобильную и робототехническую версии дополнительно обучали с помощью отдельной модели – она оценивала, сохраняют ли объекты форму, не искажается ли геометрия сцены и естественно ли выглядит движение.

Назвать полноценной моделью мира Kandinsky WM пока нельзя. Она не принимает команды робота или автомобиля и не позволяет управлять сценой по ходу генерации. С физикой тоже не всё идеально. В примерах из репозитория предметы иногда меняют форму, исчезают или появляются из ниоткуда. Впрочем, хорошо уже то, что модель опубликовали и дали разработчикам возможность проверить её самим. По словам Сбера, Kandinsky WM уже используют для обучения Грина, Воркера и других роботов компании, а AIRI применяет её в дорожном симуляторе.