Как искусственные лоси помогают обучать автопилот

Компания Navio (юридически не имеющая отношения к Сберу) поделилась деталями того, как они используют генеративный ИИ для обучения автопилота своих автомобилей.

Они заявили о переходе от классических алгоритмов к генеративному ИИ и VLA-моделям (Vision-Language-Action), которые объединяют восприятие, прогноз и принятие решений в единую систему, а также разработке своего Physical AI. Если раньше отдельно нужно было обучать и настраивать все этапы (обнаружение объектов, предсказание поведения участников движения, планирование траектории, управление), то дальше этим будет заниматься одна модель.

Но есть нюанс — для обучения таких моделей, в том числе под нестандартные случаи, нужно очень много данных. Где найти тысячи видео с лосём, который выбегает на дорогу? Нигде. Но их можно создать самостоятельно, поэтому компания придумала симулятор NavioSim.

Технология напоминает обратный инжиниринг: записанный проезд авто токенизируется, разбирается на элементы, и переводится в цифровой формат. А дальше инженеры получают конструктор: можно удалять и добавлять машины, пешеходов, лосей, менять погоду и время суток, генерируя множество вариаций одного отрезка дороги. Для рендера используют gaussian splatting, который ускоряет и удешевляет генерацию. Сгенерированные в NavioSim сценарии потом можно проверить на полигоне, «обманув» сенсоры автомобиля и подав ИИ сгенерированное изображение, чтобы изучить его реакцию.

Компания выбрала довольно экспериментальные решения вместо стандартных для индустрии: VLA-модели пока находятся на ранней стадии развития и почти не используются в продакшене, да и gaussian splatting ещё не стал массовым стандартом (хотя активно внедряется). Сама задумка выглядит интересно, может снизить зависимость от дорогих полевых тестов и решить проблему недостатка данных.