Nvidia Instant NeRF AI визуализирует 3D-сцены из 2D-фотографий за считанные секунды
В контексте: Nvidia играет с NeRF. Нет, они не стреляли друг в друга поролоновыми дротиками. Термин NeRF является сокращением от Neural Radiance Field. Это метод, использующий искусственный интеллект для создания трехмерной сцены из нескольких неподвижных изображений (инверсный рендеринг). В зависимости от того, насколько желательна глубина, обычно требуется несколько часов или дней для рендеринга результатов.
Исследовательское подразделение Nvidia в области искусственного интеллекта работало над обратным рендерингом и разработало поле нейронного излучения, которое оно назвало Instant NeRF, потому что оно может отображать 3D-сцену в 1000 раз быстрее, чем другие методы NeRF. Модели искусственного интеллекта требуется всего несколько секунд для обучения на нескольких десятках кадров, снятых с разных ракурсов, а затем еще несколько десятков миллисекунд для визуализации трехмерного изображения сцены.
Поскольку этот процесс противоположен съемке с помощью Polaroid, то есть мгновенному превращению 3D-сцены в 2D-изображение, Nvidia воссоздала фотографию Энди Уорхола с помощью Polaroid. На этой неделе исследовательская группа представила демонстрацию результатов Instant NeRF на Nvidia GTC (ниже).
«Instant NeRF можно использовать для создания аватаров или сцен для виртуальных миров, для захвата участников видеоконференций и их окружения в 3D или для реконструкции сцен для цифровых 3D-карт», — заявила Nvidia. «Сбор данных для NeRF немного напоминает работу фотографа с красной ковровой дорожки, пытающегося запечатлеть наряд знаменитости со всех сторон — нейронной сети требуется несколько десятков изображений, сделанных с разных точек сцены, а также положение камеры каждого из них. этих выстрелов».
NeRF генерирует 3D-изображение из этих десятков ракурсов, заполняя пробелы там, где это необходимо. Он может даже компенсировать окклюзии. Например, если объект блокирует обзор объекта на одном из изображений, ИИ все равно может заполнить этот угол, даже если он не может хорошо видеть объект или вообще не видит его.
Одной из слабых сторон технологии является работа с движущимися объектами.
«В сцене, в которой есть люди или другие движущиеся элементы, чем быстрее будут сняты эти кадры, тем лучше», — сказали в Nvidia. «Если в процессе захвата 2D-изображения слишком много движения, 3D-сцена, созданная искусственным интеллектом, будет размытой».
Для получения более подробной технической информации ознакомьтесь с сообщением в блоге Nvidia. Вы также можете посмотреть остальные выступления Дженсена Хуанга на GTC на YouTube.