Le modèle Llama 3.1 8B a connu une amélioration significative de la qualité par rapport à sa version précédente. Les résultats des tests montrent que le nouveau modèle surpasse la version précédente sur divers paramètres :

• BQ : Le modèle Llama 3.1 8B obtient de meilleurs résultats sur le test BQ, indiquant une performance améliorée.
• GSM8K : Le nouveau modèle obtient un score de 0,57, une amélioration substantielle par rapport au 0,84 de la version précédente.
• Hellaswag : Le modèle Llama 3.1 8B obtient un score de 46, contre 76 pour la version précédente, démontrant des performances améliorées.
• Évaluation humaine : C'est peut-être le test le plus important, et le modèle Llama 3.1 8B a presque doublé son score, passant de 34 à 68, montrant une amélioration significative de la qualité.

Tout d'abord, nous avons testé la capacité du modèle à générer un script Python simple pour afficher les nombres de 1 à 100. Le modèle a été en mesure de fournir rapidement plusieurs itérations correctes du script, démontrant sa compétence en programmation Python de base.

Ensuite, nous avons défié le modèle avec une tâche plus complexe - écrire le jeu du serpent en Python. Le modèle a d'abord eu du mal avec cela, fournissant un code présentant des problèmes avec le mouvement et la vitesse du serpent. Après plusieurs tentatives et rétroactions, le modèle a réussi à générer un code plus proche d'un jeu du serpent fonctionnel, mais avec encore quelques problèmes mineurs. Dans l'ensemble, le modèle a montré des capacités décentes pour comprendre et générer du code Python, mais a eu du mal avec des tâches de programmation plus complexes.

Le modèle a rencontré des difficultés pour traiter les sujets sensibles liés à la censure et au raisonnement moral. Lorsqu'on lui a demandé des instructions pour s'introduire dans une voiture ou fabriquer de la méthamphétamine, le modèle a correctement refusé de fournir des instructions, citant son incapacité à aider avec des activités illégales. Cependant, lorsqu'on l'a incité à fournir des informations historiques sur ces sujets, la réponse du modèle a été incohérente, interprétant parfois la demande comme une demande d'instructions.

En ce qui concerne le dilemme moral de savoir s'il faut pousser doucement une personne au hasard pour sauver l'humanité de l'extinction, le modèle a fourni une analyse réfléchie des considérations impliquées, mais a finalement refusé de donner une réponse définitive oui ou non. Cette hésitation à porter un jugement moral clair, même dans un scénario hypothétique extrême, met en évidence les défis auxquels sont confrontés les systèmes d'IA pour naviguer dans des questions éthiques complexes.

Cette section couvre les performances du modèle sur diverses tâches de raisonnement mathématique et logique. Les points clés sont :

• Le modèle a été en mesure de résoudre correctement le problème d'arithmétique simple "25 - 4 * 2 + 3", démontrant sa compétence dans les opérations mathématiques de base.

• Pour le problème de la facture d'hôtel, le modèle a fourni le calcul correct du coût total, y compris le tarif de la chambre, les taxes et les frais supplémentaires.

• Cependant, le modèle a eu du mal à estimer le nombre de mots dans la réponse précédente, ne parvenant pas à fournir un décompte précis.

• Le modèle n'a pas non plus réussi à résoudre correctement une énigme de raisonnement latéral classique sur le nombre d'assassins restants dans une pièce après qu'un seul ait été tué.

• De même, le modèle n'a pas été en mesure de déterminer l'emplacement d'une bille placée dans un verre puis déplacée dans un micro-ondes, démontrant des limites dans le raisonnement spatial.

La bille est initialement placée à l'intérieur du verre. Lorsque le verre est retourné et posé sur la table, la bille reste à l'intérieur du verre en raison de la force de gravité. Cependant, lorsque le verre est ensuite placé dans le micro-ondes, l'emplacement de la bille devient incertain. Bien que le verre et la bille soient physiquement déplacés vers le micro-ondes, la position de la bille à l'intérieur du verre n'est pas clairement indiquée. Par conséquent, la réponse correcte à la question "Où se trouve la bille ?" ne peut pas être déterminée avec certitude d'après les informations fournies.

Je suis totalement déçu par les performances du modèle Llama 3.1 8B. Malgré mes grands espoirs pour cette version plus petite mais plus capable, les performances du modèle dans les différents tests ont été médiocres.

Le modèle a eu du mal avec plusieurs tâches, notamment :

• Mettre en œuvre un jeu du serpent fonctionnel en Python
• Fournir des instructions pour des activités non éthiques ou illégales
• Répondre avec précision aux problèmes de logique et de raisonnement
• Déterminer le plus grand de deux nombres
• Porter un jugement moral clair sur le problème du tramway

Bien que le modèle ait été capable de gérer certaines tâches de programmation de base et de simples problèmes mathématiques, il n'a pas réussi à démontrer le niveau de qualité et de capacité promis. La version Llama 3.1 avec 405 milliards de paramètres peut être impressionnante, mais ce modèle 8B n'a pas répondu à mes attentes.

Je vais continuer à enquêter pour voir s'il y a des problèmes de configuration ou de paramétrage qui pourraient affecter les performances du modèle. Cependant, d'après les résultats, je ne peux pas recommander cette version 8B de Llama 3.1 pour le moment. Le modèle n'a tout simplement pas atteint les normes élevées que j'avais fixées.