A ferramenta de geração de vídeos Keying AI desenvolvida pela empresa de tecnologia chinesa CA demonstrou capacidades notáveis que, em alguns aspectos, superam os modelos de ponta como o Stable Diffusion.

Um dos recursos-chave é o mecanismo de atenção espaço-temporal 3D, que permite que o modelo capture melhor os movimentos espaciais e temporais complexos e gere vídeos com movimentos maiores, respeitando as leis da física. Isso fica evidente nos exemplos de um homem montando um cavalo no deserto de Gobi e de um astronauta correndo na superfície lunar, onde os movimentos dos personagens e os elementos de fundo são integrados de forma perfeita.

Outro aspecto impressionante é a capacidade do modelo de gerar vídeos consistentes e de alta qualidade com até 2 minutos de duração a 30 quadros por segundo. Isso demonstra o forte entendimento do modelo sobre o contexto da cena e a coerência temporal, o que geralmente é um desafio para a geração de vídeos por IA.

A simulação das propriedades do mundo físico também é notável, como demonstrado no clipe de cuidadosamente derramar leite em uma xícara. O leite flui de forma constante e preenche a xícara de maneira realista, indicando o domínio do modelo sobre a dinâmica dos fluidos.

Um dos exemplos mais impressionantes é o clipe de um homem chinês comendo macarrão com pauzinhos. Os detalhes sutis, como o molho ao redor dos lábios, são capturados com um nível de realismo difícil de distinguir de imagens reais.

A ferramenta de geração de vídeos Keying AI da empresa de tecnologia chinesa CA demonstrou um nível notável de capacidade que, em algumas áreas, supera os modelos de ponta atuais. Alguns destaques-chave incluem:

1. Atenção Espaço-Temporal 3D: O sistema emprega um mecanismo de atenção espaço-temporal 3D para modelar melhor os movimentos espaciais e temporais complexos, gerando conteúdo de vídeo com movimentos maiores, respeitando as leis da física. Isso fica evidente em clipes que mostram um homem montando um cavalo no deserto de Gobi e um astronauta correndo na superfície lunar.

2. Geração de Vídeos de Longa Duração: O sistema pode gerar vídeos de até 2 minutos de duração a 30 quadros por segundo, mantendo um alto nível de consistência e coerência temporal durante toda a duração. Isso é um avanço significativo em comparação com os modelos anteriores de geração de vídeos.

3. Simulação do Mundo Físico: O sistema demonstra um forte entendimento das propriedades do mundo físico, simulando com precisão o fluxo de líquidos, o corte de cebolas e outras interações físicas. Esse nível de realismo é crucial para gerar conteúdo de vídeo convincente.

4. Capacidade de Combinação de Conceitos: O sistema pode combinar perfeitamente vários conceitos para criar cenários de vídeo inéditos, como um gato branco dirigindo um carro em uma cidade movimentada ou um personagem de Lego visitando uma galeria de arte. Isso demonstra a flexibilidade e a criatividade do sistema.

Uma das capacidades mais impressionantes demonstradas pelo sistema de geração de vídeos Keeling AI é sua habilidade de simular as propriedades físicas do mundo real. Isso fica evidente em vários exemplos apresentados na transcrição.

O primeiro exemplo mostra um prompt de "derramar cuidadosamente o leite na xícara, o leite flui de forma constante e a xícara é gradualmente preenchida com um branco leitoso". O clipe de vídeo resultante exibe uma consistência notável na forma como o leite flui e preenche a xícara, seguindo as leis da física.

Outro exemplo é o clipe de um chef cortando cebolas na cozinha. A forma como as cebolas são processadas pelo facão, com pedaços se separando à medida que o movimento de corte progride, demonstra um profundo entendimento das interações físicas envolvidas nessa tarefa.

A transcrição também destaca a capacidade do sistema de capturar detalhes sutis, como a bagunça ao redor dos lábios do homem comendo macarrão com pauzinhos. Esse nível de realismo na simulação das propriedades do mundo físico é realmente impressionante e distingue o sistema Keeling AI de modelos anteriores de geração de vídeos.

Este sistema de IA demonstra uma notável capacidade de combinar diferentes conceitos e gerar clipes de vídeo únicos que não existem em filmagens do mundo real. Alguns exemplos apresentados incluem:

• Um gato branco dirigindo um carro pelas ruas movimentadas de uma cidade com edifícios altos e pedestres ao fundo. Essa é uma cena que nunca foi capturada em câmera antes, mas o sistema de IA é capaz de combinar perfeitamente esses elementos em um vídeo coerente e realista.

• Uma visão de lente macro de um vulcão em erupção dentro de uma xícara de café. Novamente, esse é um cenário impossível de capturar no mundo real, mas o sistema de IA consegue gerar um vídeo visualmente impressionante e plausível.

• Um personagem de Lego visitando uma galeria de arte. O sistema captura com precisão os movimentos e maneirismos sutis de uma figura de Lego, integrando-a ao cenário da galeria de arte de forma convincente.

Um dos recursos mais impressionantes deste sistema de IA é sua capacidade de gerar imagens de alta qualidade, com qualidade de cinema. Esse é um avanço significativo em relação aos sistemas de vídeo por IA anteriores, que muitas vezes lutavam com a qualidade da imagem.

O sistema é capaz de produzir imagens notavelmente precisas e detalhadas com base nos prompts fornecidos. Por exemplo, o prompt "uma chaminé sob o pôr do sol" resulta em uma imagem incrivelmente realista, com a chaminé e o céu renderizados em detalhes vívidos.

Da mesma forma, o clipe que mostra "pétalas de rosa azul de alta qualidade em HD" demonstra a capacidade do sistema de gerar imagens visualmente deslumbrantes e de alta resolução. O nível de detalhe e realismo dessas imagens é realmente notável, superando o que muitos teriam esperado de um vídeo gerado por IA.

A Keying AI adota uma estratégia de treinamento de resolução variável que permite que ela gere vídeos com diferentes proporções de aspecto durante o processo de inferência, atendendo às necessidades de materiais de vídeo em cenários mais ricos.

Conforme demonstrado, o sistema pode gerar o mesmo conteúdo em 1080x1080, 920x1080 e outras proporções de aspecto. Essa flexibilidade permite que os vídeos gerados sejam usados em uma gama mais ampla de aplicações, desde postagens quadradas em redes sociais até formatos retrato ou paisagem.

A capacidade de adaptar perfeitamente a proporção de aspecto, mantendo a qualidade e a consistência do conteúdo gerado, é um recurso valioso, demonstrando as capacidades avançadas deste sistema de IA de texto para vídeo.