Keying AI-verktyget för videogenerering som utvecklats av det kinesiska teknikföretaget CA har visat på anmärkningsvärda förmågor som i vissa avseenden överträffar de senaste modellerna som Stable Diffusion.

En av de viktigaste funktionerna är 3D spatio-temporalt uppmärksamhetsmekanism, som gör att modellen bättre kan fånga upp komplex spatial-temporal rörelse och generera videor med större rörelser samtidigt som de följer fysikens lagar. Detta är tydligt i exemplen med en man som rider en häst i Gobiöknen och en astronaut som springer på månens yta, där karaktärsrörelserna och bakgrundselementen är sömlöst integrerade.

En annan imponerande aspekt är modellens förmåga att generera högkvalitativa, konsekventa videor upp till 2 minuter långa med 30 bildrutor per sekund. Detta visar systemets starka förståelse för scenkontexten och den temporära koherensen, vilket vanligtvis är en utmaning för AI-videogenerering.

Simuleringen av fysiska världsegenskaper är också anmärkningsvärd, som visas i klippet där mjölk försiktigt hälls i en kopp. Mjölken flyter stadigt och fyller koppen på ett realistiskt sätt, vilket indikerar modellens förståelse för vätskedynamik.

Ett av de mest slående exemplen är klippet av en kinesisk man som äter nudlar med ätpinnar. De subtila detaljerna, som såsen runt läpparna, fångas med en nivå av realism som är svår att skilja från verkliga bilder.

Keying AI-verktyget för videogenerering från det kinesiska teknikföretaget CA har visat på en anmärkningsvärd förmåga att producera konsekventa, högkvalitativa videoklipp. Några viktiga höjdpunkter inkluderar:

1. 3D spatio-temporalt uppmärksamhet: Systemet använder en 3D spatio-temporalt uppmärksamhetsmekanism för att bättre modellera komplex spatial-temporal rörelse, vilket genererar videokontent med större rörelser samtidigt som de följer fysikens lagar. Detta är tydligt i klipp som visar en man som rider en häst i Gobiöknen och en astronaut som springer på månens yta.

2. Långsiktig videogenerering: Systemet kan generera videor upp till 2 minuter långa med 30 bildrutor per sekund, och bibehåller en hög nivå av konsekvens och temporal koherens under hela varaktigheten. Detta är en betydande förbättring jämfört med tidigare videogenerationsmodeller.

3. Simulering av den fysiska världen: Systemet visar en stark förståelse för fysiska världsegenskaper, och simulerar noggrant vätskeflöden, lökskärning och andra fysiska interaktioner. Denna nivå av realism är avgörande för att generera trovärdig videokontent.

En av de mest imponerande förmågorna som demonstrerats av Keeling AI-videogenerationssystemet är dess förmåga att simulera de fysiska egenskaperna i den verkliga världen. Detta är tydligt i flera exempel som visas i transkriptet.

Det första exemplet visar en uppmaning att "försiktigt hälla mjölken i koppen, mjölken flyter stadigt och koppen fylls gradvis med mjölkvit". Den resulterande videoklippen visar anmärkningsvärd konsekvens i hur mjölken flyter och fyller koppen, i enlighet med fysikens lagar.

Ett annat exempel är klippet av en kock som skär lök i köket. Sättet som lökarna bearbetas av kniven, där bitarna delar sig när skärrörelsen fortskrider, visar en djup förståelse för de fysiska interaktionerna i den här uppgiften.

Detta AI-system visar en anmärkningsvärd förmåga att kombinera olika koncept och generera unika videoklipp som inte existerar i verkliga världens filmmaterial. Några exempel som visas inkluderar:

• En vit katt som kör en bil genom en livlig stadskärna med höga byggnader och fotgängare i bakgrunden. Detta är en scen som aldrig har fångats på kamera förut, men AI-systemet kan sömlöst kombinera dessa element till ett sammanhängande och realistiskt utseende videoklipp.

• En makrolinssyn av en vulkanutbrott inuti en kaffekopp. Återigen är detta ett scenario som skulle vara omöjligt att fånga i verkligheten, men AI-systemet kan generera ett visuellt slående och trovärdigt utseende videoklipp.

En av de mest imponerande funktionerna hos detta AI-system är dess förmåga att generera högkvalitativa, filmliknande bilder. Detta är en betydande förbättring jämfört med tidigare videogenererings-AI-system, som ofta brottades med bildkvaliteten.

Systemet kan producera anmärkningsvärt exakta och detaljerade bilder baserade på de angivna uppmaningarna. Till exempel resulterar uppmaningen "en skorsten under solnedgången" i en slående realistisk bild, med skorstenen och himlen återgivna i levande detalj.

Detta filmliknande bildgenereringsfunktion är en betydande förbättring och kan ha vittgående konsekvenser för olika branscher, från visuella effekter till innehållsskapande. Förmågan att generera högkvalitativa, fotorealistiska bilder på begäran öppnar upp nya möjligheter och kan revolutionera hur vi närmar oss visuella medier.

Keying AI använder en variabel upplösningsträningsstrategi som gör att det kan producera videor i olika bildförhållanden för samma innehåll under inferensprocessen, för att möta behoven för videomaterial i rikare scenarier.

Som visats kan systemet generera samma innehåll i 1080x1080, 920x1080 och andra bildförhållanden. Denna flexibilitet gör att de genererade videorna kan användas i ett bredare spektrum av tillämpningar, från kvadratiska sociala medier-inlägg till porträtt- eller landskapsformat.

Förmågan att sömlöst anpassa bildförhållandet samtidigt som kvaliteten och konsekvensen i det genererade innehållet bibehålls är en värdefull funktion, som visar de avancerade förmågorna hos detta text-till-video AI-system.