Компания Oppo рассказала про свои достижения в области вычислительной фотографии, а также продемонстрировала их применение в новой серии Reno6.
Oppo инвестирует в искусственный интеллект, вычислительную фотографию и другие сопутствующие технологии. Одна из таких инвестиций — база данных портретного видео с более чем 10 миллионами данных с разными людьми и в разных ситуациях, что потребовало обучения алгоритма распознавания десятки тысяч раз. Дальнейшие новшества в вычислительной фотографии теперь были воплощены в жизнь с помощью нового режима портретного видео Boke Flare в последней серии Reno6.
Ранее пользователям требовалось профессиональное оборудование, квалифицированная команда и хорошо продуманный план для достижения кинематографического эффекта боке. Даже при всем этом все равно был необходим опытный редактор для финальной обработки видео. Режим портретного видео Bokeh Flare в серии Reno6 позволяет снимать видео боке на профессиональном уровне всего одним нажатием кнопки.
Серия Reno6 в режиме портретного видео Bokeh Flare использует глубокое обучение для проведения семантического восприятия видео по кадрам, чтобы точно различить объекты и фон. Также система выполняет точную сегментацию людей на 360 градусов в режиме реального времени.
После сегментации параллельно выполняется рендеринг и оптимизация на уровне пикселей для предметных и фоновых изображений. Специальная обработка цвета и яркости основного объекта выполняется на уровне пикселей и гарантирует минимальное вмешательство в обработку фона, сохраняя исходный цвет изображения даже при повышении яркости. В то же время технологии компьютерного зрения используются для выполнения ИИ-размытия, а также корректировки цвета и насыщенности световых пятен на заднем фоне, создавая фон в том самом портретном стиле, который подчеркивает объект.
Десятки тысяч данных искусственного интеллекта берутся из изображений, снятых с разных фокусных расстояний с помощью зеркальных камер. Это позволило серии Reno6 максимально приблизиться к эффекту боке, который достигается с помощью объектива камеры с большой диафрагмой. Вместо того, чтобы имитировать эффект боке с помощью простых фильтров, Oppo использует семантическое восприятие реальных источников фонового света и оптимизацию компьютерного зрения на уровне пикселей для определения размера, яркости и ореола боке. Во время видеосъемки размер и яркость бликов будет меняться в зависимости от движения камеры и последующего изменения глубины резкости.
В дополнение к технологиям глубокого обучения и компьютерного зрения, применяемым к каждому кадру, видеообработка также должна учитывать стабильность и совместимость кадров, чтобы видео получилось плавным. Предварительный просмотр видео в реальном времени предполагает значительное увеличение требований к производительности смартфона, в том числе к мгновенной вычислительной мощности и энергоемкости.
Все процессы, связанные с портретным видео Boke Flare, включая определение объекта, цветоотделение, повышение уровня яркости, сохранение цвета, размытие фона, обработку боке, адресные улучшения на уровне пикселей и многое другое, могут быть выполнены всего за 10 мс. Такая скорость гарантирует, что пользователи увидят, как кинематографический эффект боке применяется во время записи.
Функция для улучшения видео с искусственным интеллектом, AI Highlight Video, также была обновлена для серии Reno6. При съемке в условиях низкой освещенности, например ночью, обновленная функция AI Highlight Video улучшает четкость изображения до 40,2% по сравнению с Reno5 Pro. Цвет и яркость также были усовершенствованы, что привело к значительному повышению общего качества изображения. Независимо от того в какое время суток происходит видеосъемка, AI Highlight Video помогает делать более четкие и яркие портретные видео без дополнительного освещения.
С момента появления режима стабилизации видео Ultra-Steady в серии Reno2 в 2019 году работа Oppo в области вычислительной фотографии постепенно распространилась на видеосъемку. Разработка новых функций видеосъемки стала основополагающим для серии Reno. Новым серьезным этапом развития стало появление портретного режима AI Color в серии Reno4, первого творческого режима видеосъемки, основанного на вычислительной фотографии. Затем в серии Reno5, компанией была создана функция AI Highlight Video.
Вместе с партнерами Oppo продолжает изучать новые возможности и передовые решения в области вычислительной фотографии посредством углубленных исследований.