Google Imagen dokáže na základe umelej inteligencie previesť slová na video

Spoločnosť Google má vo vývoji veľmi zaujímavý projekt Imagen Video. V jednoduchosti vie pomocou umelej inteligencie spraviť prevod textu na video. Projekt je vo vývoji len 5 mesiacov a za tento čas skutočne napreduje.

Aktuálne projekt Google Imagen Video dokáže vytvoriť video s rozlíšením 1 280 x 768 pri 24 fps. Podľa výskumnej práce Google obsahuje Imagen Video niekoľko pozoruhodných štylistických schopností, ako je vytváranie videí na základe diel slávnych maliarov. Google tvrdí, že Imagen Video je krokom k systému s vysokým stupňom ovládateľnosti a svetovými znalosťami vrátane schopnosti vytvárať zábery v rôznych umeleckých štýloch.

Google týmto projektom dúfa, že modely syntézy videa na všeobecné účely môžu výrazne znížiť náročnosť vytvárania vysokokvalitného obsahu. Google hovorí, že Imagen Video bol trénovaný na 14 miliónoch pároch video-text a 60 miliónoch pároch obrázok-text, ako aj na verejne dostupnom súbore obrázkov a textu LAION-400M.

Kľúčom k schopnostiam Imagen Video je kaskáda siedmich difúznych modelov, ktoré transformujú počiatočnú textovú výzvu na video s nízkym rozlíšením, ktoré má len 24 × 48 pixelov a 3 snímky za sekundu. Následne s každým krokom postupne zvyšuje rozlíšenie aj snímkovaciu frekvenciu. Výsledné video má potom dĺžku 5,3 sekundy.

Príklady videí prezentované na webovej stránke Imagen Video siahajú od všedných až po fantastickejšie. Obsahujú zjavné artefakty a nedokonalosti, ale vykazujú viac plynulosti a detailov ako predchádzajúce modely prevodu textu na obrázok, ako napríklad CogVideo.

Nie je však jasné, či sa niekedy dočkáme aj verejného vydania. Spoločnosť Google má obavy z toho, že jej nástroj môže byť použitý na vytváranie falošného, ​​nenávistného, ​​explicitného alebo škodlivého obsahu. Google sa rozhodol, že neuverejní model Imagen Video ani jeho zdrojový kód, kým nebudú tieto obavy zmiernené.