Runway показала прототип ОС, которая придумывает интерфейс под задачу

Компания Runway, разработчик генеративных моделей для видео, показала Project Continuum – экспериментальную операционную систему, в которой ИИ сам создаёт нужный интерфейс под текущую задачу. Например, если человек читает статью о фотосинтезе, он может выделить интересующий фрагмент и получить рядом интерактивную визуализацию, которую можно рассматривать и менять. А если попросить спроектировать крепление для велосипеда, агент не ограничится перепиской в чате, а будет одновременно показывать создаваемую 3D-модель. То есть вместо универсального окна с текстовыми ответами ИИ пытается подобрать форму ответа под задачу.

В перспективе это может избавить от части отдельных приложений и сложных инструментов. Например, чтобы разобраться, как устроен механизм, не нужно искать подходящий симулятор – Continuum может создать такой временный интерфейс на лету, а пользователь взаимодействует с ним мышью примерно как с обычной программой. Эту идею Runway развивает в модели Solaris: вместо заранее написанных экранов она генерирует интерфейс кадр за кадром и меняет его в ответ на действия пользователя.

Правда, пока это скорее лабораторная проверка идеи. Подобные концепты мы видели, например, у Google, но до стадии реализации никто пока не дошёл. Публичного доступа и даже сроков появления Continuum нет. Да и у самого подхода хватает нерешённых проблем – сгенерированный интерфейс может ошибаться, искажать текст и объекты, а постоянно генерировать изображение заметно дороже, чем отрисовать готовое приложение.