Meta a publié son modèle Llama3, un assistant conversationnel IA similaire à GPT-4. Les résultats initiaux ont été assez impressionnants, avec Llama3 performant bien sur divers benchmarks. La version de Llama3 avec 70 milliards de paramètres peut être exécutée sur une machine de bureau puissante et a obtenu 82% sur le benchmark de la tâche de codage HumanEval, ce qui est proche des performances des systèmes propriétaires modernes.

Llama3 a également bien performé sur le test scientifique GPQA, obtenant près de 40%, ce qui est très impressionnant. Cependant, ses performances sur les tâches axées sur les mathématiques ne sont pas aussi fortes, avec un score de 50%, contre plus de 70% pour GPT-4 d'OpenAI sur des problèmes de mathématiques similaires.

De plus, Meta travaille sur un modèle encore plus grand d'environ 400 milliards de paramètres, qui devrait avoir des améliorations significatives par rapport à la version de 70 milliards de paramètres sur divers tests. Ce modèle plus important est encore en développement mais devrait être publié avant la fin de l'année.

Lorsqu'il s'agit d'évaluer les performances des modèles IA, le choix des benchmarks est crucial. Le benchmark idéal doit trouver un équilibre entre être suffisamment difficile pour différencier les modèles, mais pas trop pour que les modèles aient du mal à bien performer.

Les tests avec un taux de réussite inférieur à 10% ne sont généralement pas considérés comme de bons tests, car il devient plus difficile de tirer des conclusions statistiquement significatives. D'un autre côté, les tests avec un taux de réussite de 80-85% ou plus peuvent commencer à perdre leur sens, car ils pourraient potentiellement contenir des erreurs ou avoir des réponses qui ont été divulguées, permettant aux modèles de simplement reproduire les réponses correctes.

Le test GPQA, qui couvre un éventail de disciplines scientifiques comme la chimie organique, la biologie moléculaire et la physique, est cité comme un bon exemple de benchmark difficile mais significatif. Atteindre près de 40% sur ce test est considéré comme très impressionnant.

Lorsqu'il s'agit d'évaluer les performances des modèles IA pour des cas d'utilisation réels, le classement Arena fournit une évaluation plus pertinente. Ce test mesure les capacités des modèles à aider avec des tâches que les gens normaux effectueraient typiquement, plutôt que des défis académiques ou techniques.

Llama3, le chatbot IA open-source de Meta, a montré des performances impressionnantes sur divers benchmarks, rivalisant avec les systèmes propriétaires comme GPT-4. Avec une version de 70 milliards de paramètres disponible pour une utilisation sur des machines de bureau puissantes, Llama3 a atteint 82% sur la tâche de codage HumanEval et un impressionnant 40% sur le test scientifique GPQA difficile. Bien que ses performances en mathématiques à 50% soient inférieures à celles de GPT-4 à 70%, le modèle de 400 milliards de paramètres à venir devrait encore améliorer ces résultats.

Tout aussi impressionnant, le Gemini 1.5 Pro de Google DeepMind a démontré de fortes performances sur le classement Arena, surpassant même les versions antérieures de GPT-4 à certains égards. La capacité de Gemini 1.5 Pro à apprendre à partir de films et de bases de code entiers le distingue, et il a obtenu la deuxième place globale, ainsi que la première place pour les invites plus longues.

La disponibilité de ces puissants assistants IA, à la fois open-source et propriétaires, marque une avancée significative dans le domaine. Les utilisateurs peuvent maintenant accéder gratuitement à Llama3 et Gemini 1.5 Pro en dehors de l'UE, à travers diverses plateformes, leur permettant d'expérimenter les capacités de ces modèles de pointe.

Vous pouvez essayer les modèles IA Llama3 et Gemini 1.5 Pro gratuitement de la manière suivante :

1. Llama3 :

   • Selon les connaissances de l'auteur, vous pouvez essayer Llama3 sur le site Web de Meta, si vous vous trouvez en dehors de l'Europe.
   • Vous pouvez également télécharger et exécuter le modèle Llama3 n'importe où.
   • Il existe des sites Web qui hébergent Llama3, et vous pouvez l'essayer via ces plateformes. Les liens sont fournis dans la description de la vidéo.

2. Gemini 1.5 Pro :

   • Gemini 1.5 Pro, développé par Google DeepMind, est également disponible gratuitement à l'essai, en dehors de l'UE.
   • Le lien pour accéder à Gemini 1.5 Pro est fourni dans la description de la vidéo.

L'auteur souligne que Llama3 et Gemini 1.5 Pro sont des modèles IA impressionnants, presque aussi bons que les systèmes propriétaires payants, mais que vous pouvez les utiliser gratuitement.

Les assistants IA s'améliorent à un rythme stupéfiant, et les modèles open-source comme Llama3 et Gemini 1.5 Pro sont maintenant presque aussi capables que les systèmes propriétaires payants, comme GPT-4. Ces modèles open-source sont disponibles gratuitement pour tout le monde, ce qui est un développement incroyable.

Llama3, le modèle de 70 milliards de paramètres de Meta, performe remarquablement bien sur divers benchmarks, y compris le test scientifique GPQA difficile. Bien qu'il ne soit pas aussi fort en mathématiques que GPT-4, il délivre toujours des résultats impressionnants. De plus, le modèle Llama3 de 400 milliards de paramètres à venir devrait encore améliorer ces capacités.

De même, le Gemini 1.5 Pro de Google DeepMind est également un assistant IA très capable, rivalisant avec les performances des versions antérieures de GPT-4. Il excelle particulièrement dans les tâches impliquant des invites plus longues et des contextes complexes, comme regarder des films entiers ou apprendre des bases de code.

La disponibilité de ces modèles IA open-source, qui peuvent être essayés gratuitement, est une étape importante. Cela démocratise l'accès à la technologie IA avancée et permet à tous d'explorer et de bénéficier de ces outils puissants. C'est une période merveilleuse à vivre, car nous assistons aux progrès rapides de l'IA et à l'accessibilité croissante de ces capacités remarquables.