Редакция Event.ru75 лет назад была сделана первая мгновенная фотография с помощью камеры Polaroid, это было новаторское решение для быстрого захвата 3D-мира в реалистичном 2D-изображении — стало возможным мгновенно сделать фото и тут же проявить его.
Сегодня же исследователи искусственного интеллекта работают над обратным: превращают коллекцию неподвижных изображений в цифровую 3D-сцену за считанные секунды.
Известный как обратный рендеринг, этот процесс использует искусственный интеллект для аппроксимации поведения света в реальном мире, позволяя исследователям реконструировать 3D-сцену из нескольких 2D-изображений, сделанных под разными углами.
Instant NeRF — это нейронная модель рендеринга, которая за считанные секунды изучает 3D-сцену с высоким разрешением и может отображать изображения этой сцены за несколько миллисекунд.
Новинку можно использовать для создания аватаров или сцен для виртуальных миров, а также для съемки участников видеоконференций и их окружения в 3D.
Создание 3D-сцены традиционными методами занимает несколько часов или дольше, в зависимости от сложности и разрешения визуализации. Задействование же искусственного интеллекта в разы ускоряет процесс. Ранние модели NeRF воспроизводили четкие сцены за несколько минут, но все равно на обучение уходили часы.
Мгновенный NeRF, однако, сокращает время рендеринга на несколько порядков. Используя новый метод кодирования входных данных, исследователи могут добиться высококачественных результатов, используя крошечную нейронную сеть, которая работает очень быстро.
Авторами разработки, которая сочетает в себе сверхбыстрое обучение нейронной сети и быстрый рендеринг, причём решая эту задачу практически мгновенно, является исследовательская группа NVIDIA.
NVIDIA применили этот подход к популярной новой технологии под названием neural radiance fields (NeRF). Результат, получивший название Instant NeRF, является самой быстрой техникой NeRF на сегодняшний день, достигая ускорения более чем в 1000 раз. Модели требуется всего несколько секунд для тренировки на нескольких десятках неподвижных фотографий — плюс данные о ракурсах камеры, с которых они были сняты, — и затем она может визуализировать финальную 3D-сцену в течение десятков миллисекунд.
«Если традиционные 3D-представления, такие как полигональные сетки, сродни векторным изображениям, NERFS подобны растровым изображениям: они плотно фиксируют то, как свет исходит от объекта или внутри сцены. В этом смысле мгновенный NeRF может быть так же важен для 3D, как цифровые камеры и сжатие JPEG для 2D-фотографии, что значительно увеличивает скорость, простоту и охват 3D-съемки и совместного использования», — говорит Дэвид Любке, вице-президент по исследованиям графики в NVIDIA.
Отдавая дань уважения ранним дням Polaroid images, NVIDIA Research воссоздала культовую фотографию Энди Уорхола, делающего мгновенную фотографию, превратив ее в 3D-сцену с помощью Instant NeRF.
Сбор данных для подачи NeRF немного напоминает работу фотографа на красной дорожке, пытающегося запечатлеть наряд знаменитости со всех сторон — нейронной сети требуется несколько десятков снимков, сделанных с разных позиций вокруг сцены, а также положение камеры каждого из этих снимков.
В сцене, включающей людей или другие движущиеся элементы, чем быстрее будут сделаны эти снимки, тем лучше. Если в процессе захвата 2D-изображения наблюдается слишком много движения, 3D-сцена, созданная искусственным интеллектом, будет размытой
Оттуда NeRF, по сути, заполняет пробелы, обучая небольшую нейронную сеть реконструировать сцену, предсказывая цвет света, излучаемого в любом направлении, из любой точки 3D-пространства. Этот метод может даже обойти окклюзии — когда объекты, видимые на некоторых изображениях, блокируются препятствиями, такими как столбы на других изображениях.
В то время как оценка глубины и внешнего вида объекта на основе частичного обзора является естественным навыком для людей, для ИИ это сложная задача.
Детали Met Gala 2022: Позолоченный гламур в Музее искусств Metropolitan
Лучшие кейсы с премии «Событие Года»: Победитель в номинации «MICE-проект года» — Открывая 7 дверей в Дагестане
Поделиться