Nvidian Instant NeRF AI renderöi 3D-kohtauksia 2D-kuvista muutamassa sekunnissa

Asiayhteydessä: Nvidia on pelannut NeRF:illä. Ei, he eivät ole ampuneet toisiaan vaahtonuolella. Termi NeRF on lyhenne sanoista Neural Radiance Field. Se on tekniikka, joka käyttää tekoälyä kolmiulotteisen kohtauksen luomiseen kourallisista still-kuvista (käänteinen renderöinti). Riippuen halutusta syvyydestä tulosten näyttäminen kestää yleensä tunteja tai päiviä.

Nvidian tekoälytutkimusryhmä on työskennellyt käänteisen renderöinnin parissa ja kehittänyt Neural Radiance Fieldin, jota se kutsuu Instant NeRF:ksi, koska se voi renderöidä 3D-näkymän jopa 1000 kertaa nopeammin kuin muut NeRF- tekniikat. Tekoälymalli tarvitsee vain muutaman sekunnin harjoitellakseen muutamaa tusinaa useista eri kulmista otettuja still-kuvia ja sitten vain kymmeniä millisekunteja lisää 3D-näkymän näyttämiseen.

Koska prosessi on päinvastainen kuin Polaroidin ottaminen – toisin sanoen 3D-kohtauksen muuttaminen välittömästi 2D-kuvaksi – Nvidia loi uudelleen valokuvan Andy Warholista Polaroidilla. Tällä viikolla tutkimusryhmä esitteli demon Instant NeRF -tuloksista Nvidia GTC:ssä (alla).

"Instant NeRF:ää voitaisiin käyttää luomaan avatareja tai kohtauksia virtuaalimaailmoihin, kaapata videoneuvottelun osallistujat ja heidän ympäristönsä 3D-muodossa tai rekonstruoida kohtauksia 3D-digitaalikarttoja varten", Nvidia sanoi. "Tietojen kerääminen NeRF:n syöttämistä varten on vähän kuin olisi punaisen maton valokuvaaja, joka yrittää vangita julkkiksen asun joka kulmasta – hermoverkko vaatii muutaman kymmenen kuvan, joka on otettu useista eri paikoista ympäri kohtausta, sekä jokaisen kameran asennon. noista laukauksista."

NeRF luo 3D-kuvan näistä kymmenistä kulmista ja täyttää kohdat tarvittaessa. Se voi jopa kompensoida tukkeumia. Jos esimerkiksi esine estää näkymän kohteelle jossakin kuvassa, tekoäly voi silti täyttää kyseisen kulman, vaikka se ei näe kohdetta hyvin tai ollenkaan.

Yksi tekniikan heikkouksista on liikkuvien esineiden käsittely.

"Kun kohtaus sisältää ihmisiä tai muita liikkuvia elementtejä, mitä nopeammin nämä kuvat tallennetaan, sitä parempi", Nvidia sanoi. "Jos 2D-kuvankaappausprosessin aikana tapahtuu liikaa liikettä, tekoälyn luoma 3D-näkymä on epäselvä."

Lisätietoja teknisistä yksityiskohdista on Nvidian blogiviestissä. Voit myös katsoa loput Jensen Huangin GTC-puheenvuorosta YouTubesta.