Instant NeRF AI di Nvidia esegue il rendering di scene 3D da foto 2D in pochi secondi
Nel contesto: Nvidia ha giocato con i NeRF. No, non si sono sparati a vicenda con dardi di gommapiuma. Il termine NeRF è l'abbreviazione di Neural Radiance Field. È una tecnica che utilizza l'IA per creare una scena tridimensionale da una manciata di immagini fisse (rendering inverso). A seconda della profondità desiderata, in genere occorrono ore o giorni per visualizzare i risultati.
Il braccio di ricerca AI di Nvidia ha lavorato sul rendering inverso e ha sviluppato un campo di radianza neurale che chiama Instant NeRF perché può rendere la scena 3D fino a 1.000 volte più veloce di altre tecniche NeRF. Il modello AI ha bisogno solo di pochi secondi per allenarsi su alcune dozzine di foto scattate da più angolazioni e poi solo decine di millisecondi in più per rendere una vista 3D della scena.
Poiché il processo è l'opposto di scattare una Polaroid, ovvero trasformare istantaneamente una scena 3D in un'immagine 2D, Nvidia ha ricreato una foto di Andy Warhol utilizzando una Polaroid. Questa settimana, il team di ricerca ha presentato una demo dei risultati di Instant NeRF su Nvidia GTC (sotto).
"Instant NeRF potrebbe essere utilizzato per creare avatar o scene per mondi virtuali, per catturare i partecipanti alla videoconferenza e i loro ambienti in 3D o per ricostruire scene per mappe digitali 3D", ha affermato Nvidia. "Raccogliere dati per alimentare un NeRF è un po' come essere un fotografo sul tappeto rosso che cerca di catturare l'abito di una celebrità da ogni angolazione: la rete neurale richiede alcune dozzine di immagini prese da più posizioni intorno alla scena, così come la posizione della telecamera di ogni di quei colpi".
Il NeRF genera l'immagine 3D da queste dozzine di angoli, riempiendo gli spazi vuoti dove necessario. Può anche compensare le occlusioni. Ad esempio, se un oggetto blocca la visuale del soggetto in una delle immagini, l'IA può comunque riempire quell'angolo anche se non riesce a vedere il soggetto bene o per niente.
L'unica area di debolezza della tecnologia riguarda gli oggetti in movimento.
"In una scena che include persone o altri elementi in movimento, più velocemente vengono catturati questi scatti, meglio è", ha affermato Nvidia. "Se c'è troppo movimento durante il processo di acquisizione dell'immagine 2D, la scena 3D generata dall'IA sarà sfocata".
Per maggiori dettagli tecnici, controlla il post del blog di Nvidia. Puoi anche seguire il resto del keynote GTC di Jensen Huang su YouTube.