L'outil de génération vidéo Keying AI développé par la société technologique chinoise CA a démontré des capacités remarquables qui, dans certains aspects, dépassent les modèles les plus avancés comme Stable Diffusion.

L'une des principales caractéristiques est le mécanisme d'attention spatio-temporelle 3D, qui permet au modèle de mieux capturer les mouvements spatio-temporels complexes et de générer des vidéos avec des mouvements plus importants tout en se conformant aux lois de la physique. Cela est évident dans les exemples d'un homme chevauchant un cheval dans le désert de Gobi et d'un astronaute courant sur la surface lunaire, où les mouvements des personnages et les éléments d'arrière-plan sont parfaitement intégrés.

Un autre aspect impressionnant est la capacité du modèle à générer des vidéos de haute qualité et cohérentes jusqu'à 2 minutes de long à 30 images par seconde. Cela démontre la forte compréhension du modèle du contexte de la scène et de la cohérence temporelle, ce qui est généralement un défi pour la génération vidéo par IA.

La simulation des propriétés du monde physique est également remarquable, comme le montre la séquence du versage soigné du lait dans une tasse. Le lait coule de manière régulière et remplit la tasse de façon réaliste, indiquant la maîtrise de la dynamique des fluides par le modèle.

L'un des exemples les plus frappants est la séquence d'un homme chinois mangeant des nouilles avec des baguettes. Les détails subtils, comme la sauce autour des lèvres, sont capturés avec un niveau de réalisme difficile à distinguer d'un véritable enregistrement.

Le modèle montre également une forte capacité de combinaison de concepts, générant des scènes nouvelles qui n'existent pas dans les données du monde réel, comme un chat conduisant une voiture dans une ville animée ou un personnage en Lego visitant une galerie d'art.

Enfin, la capacité du système à générer des images de haute qualité, semblables à celles d'un film, est une avancée significative, répondant à une limitation courante des systèmes d'IA vidéo. L'exemple d'une cheminée sous un coucher de soleil illustre la qualité visuelle impressionnante atteinte par le modèle.

Dans l'ensemble, l'outil de génération vidéo Keying AI développé par la société chinoise CA a démontré un niveau de capacité remarquable qui, dans certains domaines, dépasse les modèles les plus avancés actuels. Cette évolution met en lumière les progrès rapides de la génération vidéo par IA et le potentiel de la Chine pour s'imposer comme un acteur majeur dans ce domaine.