O Instant NeRF AI da Nvidia renderiza cenas 3D de fotos 2D em apenas alguns segundos

4

No contexto: a Nvidia está brincando com NeRFs. Não, eles não estão atirando um no outro com dardos de espuma. O termo NeRF é a abreviação de Neural Radiance Field. É uma técnica que usa IA para criar uma cena tridimensional a partir de um punhado de imagens estáticas (renderização inversa). Dependendo da profundidade desejada, geralmente leva horas ou dias para renderizar os resultados.

O braço de pesquisa de IA da Nvidia tem trabalhado na renderização inversa e desenvolveu um campo de radiação neural que chama de Instant NeRF porque pode renderizar a cena 3D até 1.000 vezes mais rápido do que outras técnicas de NeRF. O modelo de IA precisa apenas de alguns segundos para treinar em algumas dezenas de fotos tiradas de vários ângulos e, em seguida, apenas dezenas de milissegundos a mais para renderizar uma visão 3D da cena.

Como o processo é o oposto de tirar uma Polaroid – ou seja, transformar instantaneamente uma cena 3D em uma imagem 2D – a Nvidia recriou uma foto de Andy Warhol usando uma Polaroid. Esta semana, a equipe de pesquisa apresentou uma demonstração dos resultados do Instant NeRF na Nvidia GTC (abaixo).

"Instant NeRF pode ser usado para criar avatares ou cenas para mundos virtuais, para capturar participantes de videoconferência e seus ambientes em 3D, ou para reconstruir cenas para mapas digitais 3D", disse a Nvidia. "Coletar dados para alimentar um NeRF é um pouco como ser um fotógrafo de tapete vermelho tentando capturar a roupa de uma celebridade de todos os ângulos – a rede neural requer algumas dezenas de imagens tiradas de várias posições ao redor da cena, bem como a posição da câmera de cada um. desses tiros."

O NeRF gera a imagem 3D a partir dessas dezenas de ângulos, preenchendo os espaços em branco quando necessário. Pode até compensar oclusões. Por exemplo, se um objeto estiver bloqueando a visão do assunto em uma das imagens, a IA ainda poderá preencher esse ângulo, mesmo que não consiga ver bem o assunto.

A única área de fraqueza da tecnologia é lidar com objetos em movimento.

"Em uma cena que inclui pessoas ou outros elementos em movimento, quanto mais rápido essas fotos forem capturadas, melhor", disse a Nvidia. "Se houver muito movimento durante o processo de captura de imagem 2D, a cena 3D gerada por IA ficará desfocada."

Para mais detalhes técnicos, confira a postagem do blog da Nvidia. Você também pode assistir ao restante da palestra do GTC de Jensen Huang no YouTube.

Fonte de gravação: www.techspot.com

Este site usa cookies para melhorar sua experiência. Presumiremos que você está ok com isso, mas você pode cancelar, se desejar. Aceitar Consulte Mais informação