Das Keying AI-Videogenerierungstool, das von der chinesischen Technologiefirma CA entwickelt wurde, hat bemerkenswerte Fähigkeiten gezeigt, die in manchen Aspekten den aktuellen Spitzenmodellen wie Stable Diffusion übertreffen.

Eines der Schlüsselmerkmale ist der 3D-raumzeitliche Aufmerksamkeitsmechanismus, der es dem Modell ermöglicht, komplexe räumlich-zeitliche Bewegungen besser zu erfassen und Videos mit größeren Bewegungen zu generieren, die gleichzeitig den Gesetzen der Physik entsprechen. Dies wird in den Beispielen eines Mannes, der auf einem Pferd in der Wüste Gobi reitet, und eines Astronauten, der auf der Mondoberfläche läuft, deutlich, bei denen die Bewegungen der Charaktere und die Hintergrundelemente nahtlos integriert sind.

Ein weiterer beeindruckender Aspekt ist die Fähigkeit des Modells, hochwertige, konsistente Videos von bis zu 2 Minuten Länge mit 30 Bildern pro Sekunde zu generieren. Dies zeigt das starke Verständnis des Systems für den Szenenkontext und die zeitliche Kohärenz, was für die KI-Videogenerierung typischerweise eine Herausforderung darstellt.

Die Simulation von Eigenschaften der physikalischen Welt ist ebenfalls bemerkenswert, wie in dem Clip des vorsichtigen Eingießens von Milch in einen Becher zu sehen ist. Die Milch fließt gleichmäßig und füllt den Becher realistisch, was auf das Verständnis des Modells für Fluiddynamik hinweist.

Eines der auffallendsten Beispiele ist der Clip eines Chinesen, der mit Essstäbchen Nudeln isst. Die subtilen Details, wie die Sauce um die Lippen, werden mit einem Realismus erfasst, der schwer von echten Aufnahmen zu unterscheiden ist.

Das Modell zeigt auch eine starke Fähigkeit zur Konzeptkombination, indem es neuartige Szenen generiert, die in realen Daten nicht existieren, wie eine Katze, die ein Auto durch eine belebte Stadt fährt, oder eine Lego-Figur, die eine Kunstgalerie besucht.

Schließlich ist die Fähigkeit des Systems, hochwertige, filmähnliche Bilder zu generieren, ein bedeutender Fortschritt, der eine häufige Einschränkung von KI-Videosystemen adressiert. Das Beispiel eines Schornsteins bei Sonnenuntergang zeigt die beeindruckende visuelle Detailtreue, die das Modell erreicht hat.

Insgesamt hat das Keying AI-Videogenerierungstool der chinesischen Firma CA ein bemerkenswert hohes Leistungsniveau gezeigt, das in manchen Bereichen die aktuellen Spitzenmodelle übertrifft. Diese Entwicklung unterstreicht den rasanten Fortschritt in der KI-Videogenerierung und das Potenzial Chinas, zu einem starken Konkurrenten in diesem Bereich zu werden.