La sortie du modèle LLAMA 3 de Meta a été un événement marquant pour la communauté de l'IA. Les références et les performances de ce modèle open source sont vraiment impressionnantes :

• Le modèle LLAMA 3 de 8 milliards de paramètres est déjà presque aussi puissant que le plus grand modèle LLAMA 2, montrant des améliorations significatives en termes d'efficacité et de capacité.
• Le modèle LLAMA 3 de 70 milliards de paramètres obtient environ 82 MMLU (Multitask Metric for Language Understanding), se classant en tête des références de raisonnement et de mathématiques.
• Le modèle LLAMA 3 de 400 milliards de paramètres, actuellement en cours de formation, devrait être le meilleur de l'industrie sur un certain nombre de références, potentiellement au niveau de GPT-4 en termes de capacité.
• LLAMA 3 a dépassé les performances des modèles les plus performants comme Claude Sonet, démontrant la capacité de Meta à repousser les limites de l'IA open source.
• Par rapport à d'autres modèles open source comme Megatron et Gemini, LLAMA 3 les surpasse systématiquement sur une variété de références et de tâches.
• Meta a développé un nouvel ensemble d'évaluations humaines de haute qualité pour optimiser LLAMA 3 pour les scénarios du monde réel, garantissant que les capacités du modèle se traduisent par des applications pratiques.

Meta a développé un nouvel ensemble d'évaluations humaines de haute qualité pour optimiser les performances de leur modèle Llama 3 pour les scénarios du monde réel. Cet ensemble d'évaluation contient 1 800 invites couvrant 12 cas d'utilisation clés, notamment :

• Demander des conseils
• Remue-méninges
• Classification
• Répondre à des questions fermées
• Codage
• Écriture créative
• Extraction
• Incarner un personnage
• Répondre à des questions ouvertes
• Raisonnement
• Réécriture
• Résumé

Pour éviter tout sur-ajustement accidentel, même les équipes de modélisation de Meta n'ont pas accès à cet ensemble d'évaluation.

Lors des tests contre d'autres modèles de pointe comme Claude Sonic, Llama 3 a obtenu des résultats remarquables dans l'évaluation humaine :

• 52% de victoires
• 12,9% d'égalités
• 34% de défaites

Sur divers benchmarks, le modèle Llama 3 de 70 milliards de paramètres a systématiquement surpassé d'autres modèles open source et propriétaires, y compris Mistral's 8x22B et Gemini Pro 1.0.

Le modèle Llama 3 de Meta utilise un tokeniseur plus efficace avec un vocabulaire de 128 000 tokens, ce qui entraîne des améliorations de performance substantielles. De plus, les données d'entraînement de Llama 3 sont sept fois plus importantes que celles utilisées pour Llama 2, avec quatre fois plus de code et plus de 5% de données non anglaises de haute qualité couvrant plus de 30 langues.

Meta travaille également sur un modèle Llama 3 encore plus important de 400 milliards de paramètres, qui est actuellement toujours en cours de formation. Ce modèle devrait être au niveau de GPT-4 en termes de performances, marquant une étape importante pour la communauté de l'IA open source.

L'une des annonces les plus surprenantes et passionnantes de la sortie de LLAMA 3 de Meta est le modèle de 400 milliards de paramètres à venir. Ce modèle massif est actuellement toujours en cours de formation, avec le dernier point de contrôle en date du 15 avril 2023.

Comparé à d'autres modèles de langage de grande taille comme GPT-4 et Chinchilla, ce futur modèle LLAMA 3 semble être au niveau ou même dépasser leurs capacités. Selon les références fournies, le modèle LLAMA 3 de 400 milliards de paramètres devrait atteindre des performances de pointe dans l'industrie sur une variété de tâches, y compris le benchmark de raisonnement et de mathématiques MMLU.

Ce modèle à venir représente un moment charnière pour la communauté de l'IA, car il offrira un accès ouvert à un modèle de la classe de GPT-4. Cela devrait modifier de manière significative le paysage pour de nombreux efforts de recherche et de startups de base, libérant une vague d'innovation et d'énergie créatrice dans tout l'écosystème.