Runway Gen 3 est le dernier outil de génération vidéo IA qui a suscité beaucoup d'engouement dans la communauté créative. Bien que les exemples présentés par les créateurs soient impressionnants, l'outil a ses propres forces et limites.

L'outil excelle dans la génération de vidéos abstraites, colorées et visuellement frappantes. Des invites comme "vue détaillée en première personne volant à travers le cosmos coloré", "monde RVB coloré" et "lasers colorés et particules" ont donné lieu à des images fascinantes et très utilisables. L'outil gère également bien les plans en time-lapse, comme les voitures sur une autoroute et les aurores boréales.

Cependant, lorsqu'il s'agit de générer des vidéos avec des personnes et des objets complexes, l'outil a du mal. Les mains et les traits du visage sont souvent déformés ou déformés, et la cohérence des éléments comme les instruments et les armes fait défaut. Les tentatives de styles plus cartoonesques ou animés ont également donné des résultats mitigés.

Les performances de l'outil avec le texte sont également mitigées. Bien qu'il puisse gérer les mots et les phrases plus courts, les invites de texte plus longs entraînent souvent des erreurs ou des sorties incohérentes. Les tentatives de générer des scènes riches en texte, comme une enseigne au néon ou du texte écrit dans des bulles, ont été infructueuses.

J'ai constaté que Runway Gen 3 excelle dans la génération de vidéos de style abstrait et time-lapse. L'IA semble avoir une bonne maîtrise des palettes de couleurs et créer des images abstraites fascinantes et visuellement frappantes.

Parmi les exemples abstraits les plus remarquables que j'ai générés, citons :

• Une vue détaillée en première personne survolant un paysage cosmique coloré
• Un "kaléidoscope RVB coloré et délirant en mouvement"
• Des "lasers colorés et des particules" qui évoquent l'esthétique classique des économiseurs d'écran

Dans le domaine du time-lapse, Gen 3 a produit des images très utilisables, comme :

• Un time-lapse de voitures sur une autoroute, avec un mouvement et un éclairage cohérents
• Un time-lapse des aurores boréales sur un paysage arctique
• Un plan serein d'un temple japonais sur une colline avec un ruisseau qui coule

Bien que l'IA ait eu du mal avec certains éléments comme la représentation précise des mains et des visages humains, elle a excellé dans la création de visuels abstraits et de séquences time-lapse naturelles. Ce type de vidéos pourrait être inestimable comme plans de coupe ou plans d'établissement dans divers projets vidéo.

Bien que Runway Gen 3 ait montré des capacités impressionnantes dans la génération de scènes abstraites, de time-lapse et cinématographiques, l'outil a du mal à représenter avec précision les sujets humains et à générer un texte cohérent.

Les exemples vidéo mettent en évidence plusieurs problèmes avec les sujets humains. Lorsque les mains ou d'autres parties du corps sont visibles, l'IA a tendance à les déformer ou à les déformer, entraînant des résultats peu naturels et parasites. Les visages et les expressions semblent également être un coup de chance, certains ayant l'air raisonnablement bons tandis que d'autres paraissent effrayants ou dérangeants.

De même, l'outil a du mal à générer un texte lisible et cohérent. Les mots plus courts comme "Runway" peuvent être rendus efficacement, mais les invites de texte plus longs entraînent souvent des erreurs, un mélange ou un échec complet de la génération du texte souhaité. L'outil semble avoir des difficultés particulières avec le texte plus complexe ou contextuel, comme "abonnez-vous à Matt Wolf".

Ces limites mettent en évidence les défis permanents de la génération vidéo pilotée par l'IA, en particulier en ce qui concerne la représentation réaliste des humains et l'intégration du texte. Bien que Runway Gen 3 montre des promesses dans de nombreux domaines, il reste encore des progrès à faire dans ces domaines spécifiques. À mesure que la technologie continuera à évoluer, s'attaquer à ces problèmes sera essentiel pour créer un contenu vidéo généré par l'IA plus fluide et plus crédible.

L'utilisation d'outils IA comme Chat GPT peut être un moyen puissant de générer des invites détaillées et créatives pour la génération vidéo. En fournissant un modèle d'invite et des instructions, vous pouvez tirer parti des capacités de compréhension et de génération de langage de ces modèles IA pour produire des descriptions de scènes et des mouvements de caméra imaginatifs.

L'exemple d'invite fourni suggère le format suivant :

1. Titre (en texte brut)
2. Description de la scène et mouvement de caméra (moins de 500 caractères)

En suivant cette structure et en fournissant le sujet vidéo souhaité (par exemple, "un robot qui nage"), le modèle IA peut répondre avec une invite ciblée et inventive qui peut ensuite être utilisée comme entrée pour des outils de génération vidéo comme Runway Gen 3.

Cette approche vous permet de tirer parti du potentiel créatif de l'IA basée sur le langage, en complément des capacités visuelles des modèles de génération vidéo. Les invites résultantes peuvent être plus détaillées et adaptées à vos besoins spécifiques, ce qui peut potentiellement conduire à des sorties vidéo de meilleure qualité et plus convaincantes.

Expérimenter avec différents formats d'invite et d'assistants IA peut vous aider à trouver le bon équilibre entre la créativité humaine et l'inspiration générée par la machine pour vos projets vidéo.

Après avoir testé Runway Gen 3 de manière approfondie, il est clair que l'outil a à la fois des capacités impressionnantes et quelques limites persistantes. L'IA excelle dans la génération de vidéos abstraites et visuellement frappantes avec des palettes de couleurs vibrantes et des mouvements de caméra fluides. Les invites impliquant des images cosmiques, RVB et kaléidoscopiques ont systématiquement produit des résultats fascinants.

Cependant, l'outil a du mal à incorporer des éléments humains réalistes. Les vidéos avec des personnes présentaient souvent des problèmes comme des mains déformées, des objets flottants et des proportions incohérentes. L'intégration du texte était également mitigée, l'IA performant mieux sur les mots plus courts que sur les phrases plus longues.

Bien que les exemples présentés puissent représenter les meilleurs scénarios, l'expérience globale suggère que Runway Gen 3 est un outil puissant mais imparfait. Les utilisateurs devront probablement expérimenter avec diverses invites et être prêts à trier les générations moins réussies pour trouver les pépites.

À mesure que la technologie continuera à évoluer, il sera intéressant de voir comment Runway s'attaquera à ces défis et affinera l'expérience utilisateur. Pour l'instant, Gen 3 offre un aperçu de l'avenir de la vidéo générée par l'IA, avec à la fois ses forces et ses limites bien en évidence.