Nvidia Instant NeRF AI renderdab 2D-fotodest 3D-stseene vaid sekunditega
Kontekstis: Nvidia on mänginud NeRF-idega. Ei, nad ei ole üksteist vahtnoolemänguga tulistanud. Mõiste NeRF on lühend sõnast Neural Radiance Field. See on tehnika, mis kasutab tehisintellekti, et luua käputäiest piltidest kolmemõõtmeline stseen (pöördrenderdamine). Olenevalt soovitud sügavusest kulub tulemuste esitamiseks tavaliselt tunde või päevi.
Nvidia AI uurimisrühm on töötanud pöördrenderdamise kallal ja välja töötanud närvikiirguse välja, mida nimetatakse Instant NeRF-iks, kuna see suudab 3D-stseeni renderdada kuni 1000 korda kiiremini kui teised NeRF- tehnikad. AI-mudel vajab vaid mõne sekundi, et treenida mõnekümnel mitme nurga alt tehtud kaadril, ja seejärel veel vaid kümneid millisekundeid, et stseenist 3D-vaadet kuvada.
Kuna protsess on vastupidine Polaroidi pildistamisele – see tähendab 3D-stseeni koheseks muutmiseks 2D-pildiks –, lõi Nvidia Andy Warholist polaroidi abil uuesti foto. Sel nädalal esitles uurimisrühm Nvidia GTC-s Instant NeRF-i tulemuste demo (allpool).
"Instant NeRF-i saab kasutada virtuaalse maailma avatarite või stseenide loomiseks, videokonverentsi osalejate ja nende keskkonna 3D-vormingus jäädvustamiseks või stseenide rekonstrueerimiseks 3D-digitaalkaartide jaoks, " ütles Nvidia. "Andmete kogumine NeRF-i söötmiseks on natuke nagu punase vaiba fotograaf, kes üritab jäädvustada kuulsuse riietust iga nurga alt – närvivõrk nõuab mõnda tosinat pilti, mis on tehtud mitmest kohast stseeni ümber, ja ka iga kaamera asukohta. nendest kaadritest."
NeRF genereerib 3D-kujutise nende kümnete nurkade alt, täites vajaduse korral lüngad. See võib isegi kompenseerida oklusioone. Näiteks kui objekt blokeerib ühel pildil oleva objekti vaadet, võib tehisintellekt selle nurga siiski täita, kuigi see ei näe objekti hästi või üldse.
Tehnoloogia üks nõrku kohti on liikuvate objektidega tegelemine.
"Inimesi või muid liikuvaid elemente sisaldavas stseenis on seda parem, mida kiiremini need kaadrid jäädvustatakse, " ütles Nvidia. "Kui 2D-pildi jäädvustamise protsessis on liiga palju liikumist, on AI-ga loodud 3D-stseen udune."
Tehniliste üksikasjade saamiseks vaadake Nvidia ajaveebi postitust. Saate vaadata ka ülejäänud Jensen Huangi GTC peaettekannet YouTube’is.