Het Keying AI-videogeneratietool, ontwikkeld door het Chinese technologiebedrijf CA, heeft opmerkelijke capaciteiten getoond die in sommige opzichten de state-of-the-art-modellen zoals Stable Diffusion overtreffen.

Eén van de belangrijkste kenmerken is het 3D spatio-temporele aandachtsmechanisme, waardoor het model complexe ruimtelijk-temporele bewegingen beter kan vastleggen en video's met grotere bewegingen kan genereren, terwijl het zich aan de natuurwetten houdt. Dit is duidelijk te zien in de voorbeelden van een man die op een paard rijdt in de Gobi-woestijn en een astronaut die op het maanoppervlak rent, waar de bewegingen van de personages en de achtergrond-elementen naadloos zijn geïntegreerd.

Een ander indrukwekkend aspect is het vermogen van het model om tot 2 minuten lange, hoogwaardige en consistente video's te genereren met 30 frames per seconde. Dit toont het sterke begrip van het model van de scène-context en temporele coherentie, wat doorgaans een uitdaging is voor AI-videogeneratie.

De simulatie van fysieke wereldeigenschappen is ook opmerkelijk, zoals te zien is in de clip waarin zorgvuldig melk in een kopje wordt gegoten. De melk stroomt gelijkmatig en vult het kopje op realistische wijze, wat wijst op het begrip van het model van vloeistofdynamica.

Eén van de meest opvallende voorbeelden is de clip van een Chinese man die met eetstokjes noedels eet. De subtiele details, zoals de saus rond de lippen, worden met een realisme vastgelegd dat nauwelijks te onderscheiden is van echte beelden.

Het model toont ook een sterk vermogen om concepten te combineren, waarbij het nieuwe scènes genereert die niet bestaan in echte-wereldgegevens, zoals een kat die een auto bestuurt door een drukke stad of een Lego-personage dat een kunstgalerie bezoekt.

Tenslotte is het vermogen van het systeem om hoogwaardige, filmachtige beelden te genereren een belangrijke vooruitgang, waarmee een veelvoorkomende beperking van AI-videosystemen wordt aangepakt. Het voorbeeld van een schoorsteen onder een zonsondergang toont de indrukwekkende visuele getrouwheid die door het model is bereikt.

Overal heeft het Keying AI-videogeneratietool, ontwikkeld door het Chinese bedrijf CA, een opmerkelijk hoog niveau van capaciteit getoond dat in sommige gebieden de huidige state-of-the-art-modellen overtreft. Deze ontwikkeling benadrukt de snelle vooruitgang in AI-videogeneratie en het potentieel voor China om een sterke concurrent te worden op dit gebied.