La herramienta de generación de videos Keying AI desarrollada por la empresa tecnológica china CA ha demostrado capacidades notables que en algunos aspectos superan a los modelos de vanguardia como Stable Diffusion.

Una de las características clave es el mecanismo de atención espacio-temporal 3D, que permite que el modelo capture mejor los movimientos espaciales y temporales complejos y genere videos con movimientos más amplios mientras se ajusta a las leyes de la física. Esto es evidente en los ejemplos de un hombre montando a caballo en el desierto de Gobi y un astronauta corriendo en la superficie lunar, donde los movimientos de los personajes y los elementos de fondo se integran sin problemas.

Otro aspecto impresionante es la capacidad del modelo para generar videos de alta calidad y consistentes de hasta 2 minutos de duración a 30 cuadros por segundo. Esto demuestra la sólida comprensión del contexto de la escena y la coherencia temporal del sistema, lo cual suele ser un desafío para la generación de videos con IA.

La simulación de las propiedades del mundo físico también es notable, como se demuestra en el clip de verter cuidadosamente leche en una taza. La leche fluye de manera constante y llena la taza de manera realista, lo que indica el dominio de la dinámica de fluidos por parte del modelo.

Uno de los ejemplos más sorprendentes es el clip de un hombre chino comiendo fideos con palillos. Los detalles sutiles, como la salsa alrededor de los labios, se capturan con un nivel de realismo difícil de distinguir de un metraje real.

El modelo también muestra una gran capacidad de combinación de conceptos, generando escenas novedosas que no existen en los datos del mundo real, como un gato conduciendo un automóvil por una ciudad concurrida o un personaje de Lego visitando una galería de arte.

Finalmente, la capacidad del sistema para generar imágenes de alta calidad y con aspecto cinematográfico es un avance significativo, lo que aborda una limitación común de los sistemas de IA de video. El ejemplo de una chimenea bajo un atardecer muestra la impresionante fidelidad visual lograda por el modelo.

En general, la herramienta de generación de videos Keying AI desarrollada por la empresa china CA ha demostrado un nivel de capacidad notable que en algunas áreas supera a los modelos de vanguardia actuales. Este desarrollo destaca el rápido progreso en la generación de videos con IA y el potencial de China para emerger como un fuerte contendiente en este campo.