Lo strumento di generazione di video Keying AI sviluppato dalla società tecnologica cinese CA ha dimostrato capacità straordinarie che in alcuni aspetti superano i modelli all'avanguardia come Stable Diffusion.

Una delle caratteristiche chiave è il meccanismo di attenzione spazio-temporale 3D, che consente al modello di catturare meglio i movimenti spazio-temporali complessi e di generare video con movimenti più ampi, pur conformandosi alle leggi della fisica. Ciò è evidente negli esempi di un uomo che cavalca un cavallo nel deserto del Gobi e di un astronauta che corre sulla superficie lunare, dove i movimenti dei personaggi e gli elementi di sfondo sono perfettamente integrati.

Un altro aspetto impressionante è la capacità del modello di generare video di alta qualità e coerenti fino a 2 minuti di durata a 30 fotogrammi al secondo. Ciò dimostra la forte comprensione del contesto della scena e la coerenza temporale del sistema, che di solito rappresenta una sfida per la generazione di video con l'AI.

La simulazione delle proprietà del mondo fisico è anche notevole, come dimostrato nel video di versare con attenzione il latte in una tazza. Il latte scorre in modo costante e riempie la tazza in modo realistico, indicando la padronanza della dinamica dei fluidi da parte del modello.

Uno degli esempi più sorprendenti è il video di un uomo cinese che mangia i noodle con le bacchette. I dettagli sottili, come la salsa intorno alle labbra, sono catturati con un livello di realismo difficile da distinguere dalle immagini reali.

Il modello mostra anche una forte capacità di combinare concetti, generando scene nuove che non esistono nei dati del mondo reale, come un gatto che guida un'auto attraverso una città affollata o un personaggio di Lego che visita una galleria d'arte.

Infine, la capacità del sistema di generare immagini di alta qualità e simili a quelle cinematografiche rappresenta un notevole progresso, affrontando un limite comune dei sistemi di video AI. L'esempio di un camino sotto il tramonto mostra l'impressionante fedeltà visiva raggiunta dal modello.

Complessivamente, lo strumento di generazione di video Keying AI sviluppato dalla società cinese CA ha dimostrato un livello di capacità straordinario che in alcuni ambiti supera i modelli all'avanguardia attuali. Questo sviluppo evidenzia i rapidi progressi nella generazione di video con l'AI e il potenziale della Cina di emergere come un forte contendente in questo campo.