Модель Apple с искусственным интеллектом восстанавливает 3D-объекты с реалистичным освещением по одному изображению

Исследователи Apple представили LiTo, модель ИИ, которая генерирует полные 3D-объекты из одного изображения, сохраняя при этом реалистичное освещение и отражения под разными углами обзора.

Исследователи компании Apple разработали новую модель ИИ, которая может восстанавливать полный 3D-объект по одному изображению, сохраняя при этом реалистичные эффекты освещения, такие как отражения и блики. Работа, представленная в исследовательской статье LiTo: Surface Light Field Tokenization, направлена на улучшение того, как машины представляют как геометрию объектов, так и зависящее от точки зрения отображение в единой системе.

Модель кодирует геометрию и освещение в объединённом 3D латентном пространстве

Модель LiTo вводит 3D-латентное представление, которое захватывает не только форму объекта, но и то, как свет взаимодействует с его поверхностью с разных углов зрения. Этот подход решает проблему предыдущих методов, которые обычно сосредоточены либо на восстановлении геометрии, либо на предсказании упрощенного, независимого от угла зрения внешнего вида.

Путем кодирования данных светового поля поверхности в компактный набор скрытых векторов, система может воспроизводить зависимости от точки зрения, такие как блики и отражения Френеля при сложных условиях освещения. Это позволяет восстановленному объекту сохранять согласованный визуальный реализм при изменении точки обзора.

Система восстанавливает полные 3D-объекты из одного изображения

В отличие от традиционных методов 3D-реконструкции, которые требуют нескольких изображений с разных углов, LiTo может выводить полное 3D-представление из одного входного изображения. Система достигает этого через двухэтапный процесс, включающий энкодер и декодер.

Кодер сжимает визуальную информацию объекта в латентное представление, захватывая как его структуру, так и поведение при освещении. Затем декодер восстанавливает объект, генерируя как его геометрию, так и его внешний вид с разных углов обзора.

Отдельная модель обучается предсказывать соответствующее латентное представление напрямую из одного изображения, позволяя выполнять сквозную реконструкцию без необходимости использования данных с нескольких видов.

Обучение использует субвыборку многовидовых и световых данных

Для обучения системы исследователи использовали тысячи 3D-объектов, визуализированных под 150 различными углами обзора и в трёх условиях освещения. Вместо того чтобы загружать все доступные данные в модель, процесс обучения опирался на случайным образом выбранные подмножества данных по световому полю поверхности.

Эти подмножества были закодированы в латентные представления, в то время как декодер обучался восстанавливать полный объект и его внешний вид при различных условиях. Со временем модель научилась обобщать как геометрию, так и зависимое от вида освещение на основе частичной информации.

Латентное пространство обеспечивает эффективное представление и восстановление

Система основывается на латентном пространстве, где визуальная информация представлена в виде компактных числовых векторов. Такой подход снижает вычислительные затраты, при этом сохраняя основные связи между характеристиками объектов и поведением освещения.

Работая в этом сжатом пространстве, модель может эффективно определять, как объект должен выглядеть с разных точек зрения, не сохраняя явно каждую возможную вариацию. Это обеспечивает как более быструю обработку, так и более последовательные результаты визуализации.

Сравнения показывают улучшенную визуализацию, зависящую от положения обзора

Исследования Apple включают сравнения между LiTo и существующей моделью под названием TRELLIS. Результаты показывают, что LiTo создаёт более последовательные и реалистичные световые эффекты при наблюдении объектов с разных углов, особенно в сценариях с сложными отражениями.