Nvidias senaste AI-teknik förvandlar ord till realistiska bilder

I sammanhanget: Nvidias GauGAN-teknik har redan visat vad den kan genom att förvandla enkla skisser till fotorealistiska bilder. Sedan dess har vi sett att den använts i Nvidia Canvas, men det verkar som att GPU-jätten siktar på högre mark med sin AI och lanserar en ny version som kan förvandla ord till bilder.

Nvidia visade sin GauGAN-teknik för första gången 2019, men först nyligen såg vi att den presenterades i en produkt tillgänglig för allmänheten. Denna mjukvara som heter Canvas kan vara väldigt rolig att använda, så att användare kan skapa fantastiska fotoliknande bilder med grundläggande skisser.

Några månader har gått sedan Canvas tillkännagivande, men arbetet med GauGAN har fortsatt och det når nu version 2.0. Tekniken har blivit ännu mer imponerande, eftersom den nu kan förvandla ord till fotorealistiska bilder, vilket ger ett resultat som liknar det vi får av att använda rita-till-bild-funktionen.

Som du kan se i videon ovan, skriv något i textrutan, så genereras en bild direkt baserat på dina ord. Lägg till ett adjektiv eller ersätt ett substantiv i frasen, så kommer bilden att ändras därefter.

För ytterligare anpassning kan användare kombinera text och rita-till-bild-funktioner. Genom att använda skrivna ord för att skapa basen och ritningar för att detaljera bilden, kan du ändra form, storlek och texturer för alla objekt i bilden.

För att uppnå dessa resultat använder Nvidias GauGAN 2 text-till-bild-funktion en generativ kontradiktorisk nätverksbaserad AI-modell som "kombinerar segmenteringskartläggning, inpainting och text-till-bild-generering." Den här modellen tränades med 10 miljoner landskapsbilder, så den bör vara väl förberedd för vad du än kastar på den (eller inte).

Du kan prova med Nvidias interaktiva AI-demo för GauGAN 2 med din webbläsare. För att spela med det måste du först godkänna Nvidias villkor (kryssa i rutan längst ner på sidan).