Технические специалисты AMD рассказали о разработанном ими методе покадровой генерации изображений при помощи ИИ для замены глобального освещения в реальном времени. Метод называется «Временно стабильное генеративное освещение с помощью одношаговой модели диффузии». Идея заключается в имитации глобального освещения посредством генерации изображений, а не с помощью ресурсоёмких вычислительных методов, таких как трассировка лучей. Ранее в этом году Джек Хуинь (Jack Huynh) из AMD анонсировал новый набор технологий FSR Diamond . Он включает в себя описанный в статье «нейронный рендеринг следующего поколения» , наряду с улучшенным масштабированием и многокадровой генерацией на основе машинного обучения, регенерацией лучей и трассировкой путей. «В нашей работе мы пытаемся решить проблему глобального освещения как задачу генерации изображений, — пояснил один из разработчиков Сунге Ким (SungYe Kim). — Глобальное освещение — это то, что делает сцену реалистичной, и это также самая затратная часть рендеринга». Предложенный метод использует кадр с прямым освещением, направленным непосредственно от источника к объекту без дальнейших отражений — в качестве первоначальной подсказки для модели Stable Diffusion 2.1 Turbo. Модель обучена на синтетическом наборе данных из 31 000 кадров заранее отрендеренных интерьерных сцен. Каждый кадр содержит от 1 до 30 источников света и движущихся объектов. Таким образом, по словам разработчиков, «модель видит широкий диапазон условий освещения» . Обучение включает в себя 50-кратное прохождение этого набора данных на графических процессорах AMD Instinct MI210.
Источник: 3DNews — https://3dnews.ru/1148660
Комментарии