Новая нейросеть Apple превращает любые фото в 3D-миры

Apple представили модель Sharp, которая умеет на лету превращать обычную фотографию в полноценную 3D-сцену. Сдаётся нам, это отчаянная попытка спасти Vision Pro, который сегодня напоминает люксовый лимузин для поездок за хлебом в супермаркет: железо космическое, а делать с ним нечего. Чтобы наполнить пустующую метавселенную, Купертино делает ставку на генерацию контента из воздуха и превращение плоских фото в объёмный иммерсивный опыт.

В основе работы технологии метод Gaussian Splatting. По заявлениям Apple, нейросеть меньше чем за секунду, всего на одной видеокарте анализирует фото и предсказывает облако параметров, которое рендерится в полноценную 3D-сцену. Чтобы ускорить развитие и интеграцию технологии, Apple выложила код и веса модели на GitHub, так что мировое сообщество может бесплатно тестировать гипотезу и искать баги, пока инженеры готовят нативное внедрение в продукты компании.

Уже привычные пользователям iPhone и Vision Pro «пространственные фото» — не то же самое. Они по сути являются стереопарой с умным параллаксом. Новый алгоритм Sharp создаёт метрически точную реконструкцию пространства, по которому можно передвигаться. Правда, ограничения никуда не делись: заглянуть за угол или уйти далеко от точки съёмки картинка начнёт рассыпаться.

Когда архивные фотографии можно будет в один клик конвертировать в локации для виртуальных прогулок, ответ на вопрос «зачем мне очки за 3,5 тысячи баксов» станет чуть более понятным. Но вот сколько поколений устройства им предстоить ещё выпустить до этого момента — загадка.