Le Gen 3 de Runway est le modèle de IA de texte-vers-vidéo le plus récent et le plus avancé de la principale entreprise d'IA. Ce nouveau modèle offre plusieurs fonctionnalités impressionnantes, notamment des capacités de synchronisation labiale, où les personnages générés peuvent lire un script à l'aide de voix générées par IA.

Pour utiliser Gen 3, vous pouvez vous rendre sur le site Web de Runway à runwayml.com et vous inscrire à un abonnement, qui commence à 15 $ par mois. Le modèle est actuellement en version alpha, mais il fournit un outil puissant pour créer du contenu vidéo à partir de prompts textuels.

Le processus de prompt pour Gen 3 est crucial, car il nécessite une structure spécifique pour obtenir les résultats souhaités. Le prompt doit être divisé en trois parties : le mouvement de la caméra, l'établissement de la scène et les détails supplémentaires. Runway fournit un guide utile sur leur site Web pour vous aider à créer des prompts efficaces.

Runway ML.com est le site Web pour accéder au nouveau modèle IA de texte-vers-vidéo Gen 3. Pour commencer :

1. Cliquez sur "Essayer Gen 3" et connectez-vous à votre compte. Gen 3 nécessite un abonnement à partir de 15 $/mois.
2. Choisissez Gen 3 dans le menu déroulant, car c'est un modèle distinct de Gen 2.
3. Concevez votre prompt avec soin, en suivant la structure en 3 parties : mouvement de la caméra, établissement de la scène et détails supplémentaires.
4. Expérimentez avec différentes longueurs de prompt et durées de génération (5 ou 10 secondes). Chaque seconde coûte 10 crédits.
5. Utilisez l'option "Seed" pour maintenir la cohérence entre les générations au sein de la même scène.
6. Téléchargez facilement vos clips générés et organisez-les dans des dossiers personnalisés pour une meilleure gestion.
7. Bien que la fonctionnalité de synchronisation labiale soit disponible, la qualité est encore limitée dans la version alpha actuelle.
8. Envisagez d'utiliser des outils comme ChatGPT ou Claude pour générer des prompts qui respectent la structure de prompt spécifique de Runway.

Le prompt est la clé pour exploiter tout le potentiel du modèle de texte-vers-vidéo Gen 3 de Runway. La structure de prompt se compose de trois composants principaux :

1. Mouvement de la caméra : Décrivez l'angle et le mouvement de la caméra, comme "plan fixe en contre-plongée" ou "travelling".
2. Établissement de la scène : Fournissez des détails sur la scène, comme le décor, les objets et les personnages.
3. Détails supplémentaires : Incluez toute information supplémentaire pour affiner le résultat souhaité, comme l'éclairage, les filtres ou des actions spécifiques.

Runway fournit un guide complet avec des exemples pour vous aider à créer des prompts efficaces. L'utilisation d'outils comme ChatGPT ou Clause en tant que générateurs de prompts peut encore simplifier le processus. N'oubliez pas de garder vos prompts concis, dans la limite de 400 caractères, pour obtenir les meilleurs résultats.

Le modèle Runway Gen 3 offre quelques paramètres et options pour vous aider à optimiser votre génération de texte-vers-vidéo. Voici les points clés :

1. Seed : Ce paramètre vous permet de générer des variations de la même scène. Lorsqu'il est activé, la prochaine génération sera une représentation proche de la précédente, offrant plus de cohérence entre vos clips.

2. Préréglages personnalisés : Vous pouvez enregistrer vos prompts sous forme de préréglages personnalisés, qui peuvent être réutilisés pour générer un contenu similaire. Cela est utile si vous trouvez un prompt qui fonctionne bien pour vos besoins.

3. Structure du prompt : Runway Gen 3 suit une structure de prompt spécifique avec trois composants principaux : le mouvement de la caméra, l'établissement de la scène et les détails supplémentaires. La conception soignée de vos prompts en utilisant cette structure peut conduire à de meilleurs résultats.

4. Génération de prompt : Des outils comme ChatGPT ou le Claude d'Anthropic peuvent être utilisés pour générer des prompts qui respectent le format Runway Gen 3, vous faisant gagner du temps et des efforts.

5. Durée du clip : Vous pouvez choisir de générer des clips de 5 ou 10 secondes, selon vos besoins. Les clips plus courts sont plus rapides à rendre, mais peuvent nécessiter plus d'itérations pour obtenir le résultat souhaité.

6. Gestion des crédits : Runway Gen 3 utilise un système basé sur les crédits, chaque seconde de vidéo coûtant 10 crédits. Une planification attentive de vos prompts et une gestion judicieuse de vos crédits sont importantes, surtout si vous êtes sur un abonnement de niveau inférieur.

L'une des principales fonctionnalités du modèle Gen 3 de Runway est la possibilité d'ajouter des voix synchronisées aux lèvres à vos vidéos générées. Cela vous permet de créer des vidéos avec des personnages qui semblent prononcer les lignes que vous fournissez.

Pour utiliser cette fonctionnalité, suivez ces étapes :

1. Après avoir généré votre clip vidéo initial, recherchez l'option "Synchronisation labiale" sur le côté gauche de l'écran.
2. Cliquez sur l'option "Synchronisation labiale" pour l'étendre.
3. Vous pouvez soit télécharger votre propre fichier audio, soit utiliser les voix générées par IA fournies par Runway.
4. Si vous utilisez une voix IA, saisissez le texte que vous voulez que le personnage dise, puis sélectionnez la voix de votre choix parmi les options disponibles.
5. Cliquez sur "Générer la synchronisation labiale" pour créer un nouveau clip vidéo avec la voix synchronisée.

Gardez à l'esprit que la fonctionnalité de synchronisation labiale est encore en phase alpha, donc la qualité peut ne pas être parfaite. Cependant, c'est un outil intéressant et puissant qui vous permet d'ajouter plus de réalisme et de contrôle à vos vidéos Runway Gen 3.

Runway, le principal modèle IA de texte-vers-vidéo, a récemment dévoilé sa dernière itération, Gen 3. Ce nouveau modèle possède des capacités impressionnantes, notamment la fonctionnalité de synchronisation labiale, où les personnages peuvent lire un script à l'aide de voix générées par IA.

En tant que cinéaste avec plus d'une décennie d'expérience, le présentateur est enthousiaste quant au potentiel de cette technologie, tout en reconnaissant également les défis inhérents. Le modèle Gen 3 est actuellement en version alpha et nécessite un abonnement à partir de 15 $ par mois, la génération vidéo étant un processus coûteux.

La présentation passe en revue la plateforme Runway, mettant en évidence la structure du prompt et les différents paramètres disponibles. Bien que les résultats puissent être mitigés, le présentateur a constaté qu'environ un clip sur trois est de bonne qualité. La possibilité d'enregistrer et d'organiser le contenu généré est également une fonctionnalité utile.

Le présentateur présente également la fonctionnalité de synchronisation labiale, qui, bien que pas encore parfaite, démontre l'approche avant-gardiste du modèle. De plus, le présentateur introduit un cours intitulé "Faire des films avec l'IA", qui combine la puissance d'outils comme ChatGPT, Midjourney et Runway pour créer des projets cinématographiques complets.

Dans l'ensemble, Runway Gen 3 représente une avancée significative dans le domaine de la réalisation de films assistée par l'IA, offrant aux cinéastes et aux créateurs de contenu de nouvelles voies d'exploration et de créativité, malgré les limites actuelles et les coûts élevés associés à cette technologie.