Selon Bindu, PDG d'Abacus AI, le modèle Smaug 70b est nettement supérieur au précédent meilleur modèle open-source, LLaMA 37b. Smaug 70b surpasse LLaMA 37b et GPT-4 Turbo sur divers benchmarks, notamment le MT bench et les scores durs d'Arena.

Le modèle Smaug 70b a obtenu un score de 56,7 sur le MT bench, tandis que LLaMA 37b a obtenu 41,1. Cela démontre les capacités de raisonnement et les performances améliorées du modèle Smaug 70b par rapport à son prédécesseur.

Pour tester davantage le modèle, l'auteur a téléchargé une version quantifiée de 7 milliards de paramètres du modèle Smaug et l'a exécutée localement à l'aide de LM Studio. Le modèle plus petit a réussi à créer un jeu de Snake fonctionnel, démontrant sa polyvalence et ses performances.

L'auteur a ensuite procédé à des tests sur la version plus grande de 70 milliards de paramètres du modèle Smaug sur Abacus.com. Le modèle a pu effectuer diverses tâches, comme générer les nombres de 1 à 100 et résoudre des problèmes de mathématiques simples. Cependant, il a eu du mal avec des tâches plus complexes, comme créer un jeu de Snake à l'aide de la bibliothèque Curses ou fournir une solution étape par étape à un puzzle logique.

La transcription indique que l'auteur a testé deux versions du modèle Smog, une version non quantifiée de 70 milliards de paramètres et une version quantifiée de 7 milliards de paramètres, sur diverses tâches. Voici un résumé des points clés :

• L'auteur a d'abord testé la capacité des deux modèles à générer les nombres de 1 à 100 dans un script Python, ce que les deux modèles ont réussi à faire.
• Ensuite, l'auteur a testé la capacité des modèles à créer un jeu de Snake en Python. Le modèle plus petit de 7 milliards de paramètres quantifié a réussi à créer un jeu de Snake fonctionnel dès le premier essai, tandis que la version plus grande de 70 milliards de paramètres a rencontré des problèmes et n'a pas réussi à créer un jeu fonctionnel.
• L'auteur a ensuite essayé d'obtenir du plus gros modèle qu'il crée un jeu de Snake à l'aide de la bibliothèque pygame, mais il n'a pas non plus réussi cette tâche.
• L'auteur a conclu que le modèle plus petit quantifié a mieux performé sur la tâche du jeu de Snake par rapport à la version plus grande non quantifiée.

Le modèle a bien performé sur une variété de problèmes mathématiques et de mots, démontrant ses capacités en raisonnement quantitatif et en résolution de problèmes. Quelques points saillants :

• Le modèle a pu résoudre correctement des problèmes d'arithmétique simples comme "25 - 4 * 2 + 3" et fournir le raisonnement étape par étape.
• Pour un problème de mots impliquant des frais d'hôtel, le modèle a identifié la bonne formule pour calculer le coût total, y compris les taxes et les frais.
• Lorsqu'on lui a demandé d'expliquer le raisonnement d'un puzzle logique complexe sur des tueurs dans une pièce, le modèle local plus petit a fourni une réponse plus perspicace et précise par rapport à la version plus grande basée sur le cloud.
• Le modèle local plus petit a également surpassé le plus gros sur un simple problème de proportionnalité sur le séchage des chemises.
• Les deux modèles ont géré des tâches de programmation de base comme générer une séquence de nombres et construire un simple jeu de Snake.

Le scénario de la bille dans le verre est un puzzle logique classique qui teste la capacité de raisonner sur le monde physique et de faire des inférences logiques. Dans ce cas, le scénario implique de placer une bille dans un verre, de retourner le verre et de le poser sur une table, puis de le placer dans un micro-ondes.

La clé pour résoudre ce puzzle est de comprendre que la position de la bille par rapport au verre ne change pas tout au long des actions décrites. Même si le verre est retourné et déplacé, la bille reste au fond du verre, qui est maintenant orienté vers le haut.

Lorsque le verre est placé dans le micro-ondes, la bille est toujours à l'intérieur du verre, car les actions effectuées n'ont pas fait sortir la bille du verre. C'est la réponse correcte, car la bille reste dans la même position à l'intérieur du verre tout au long de la séquence d'événements.

John, qui a mis la balle dans la boîte avant de partir au travail, supposera que la balle est toujours dans la boîte.

Mark, qui a mis la balle dans le panier pendant l'absence de John, supposera que la balle est dans le panier.

Puisque John et Mark ont des hypothèses différentes sur l'emplacement de la balle, l'emplacement final de la balle est ambigu selon les informations fournies.

Le plus gros modèle a pu générer 10 phrases se terminant toutes par le mot "Apple" :

1. La pomme croquante et juteuse était un délice à manger.
2. John a jeté la pomme mûre dans le panier.
3. Le pommier dans le jardin était chargé de fruits.
4. Elle a tranché la pomme et l'a ajoutée à la salade.
5. La tarte aux pommes chaude a rempli la cuisine d'un arôme délicieux.
6. L'enseignant a distribué une pomme rouge brillante à chaque élève.
7. La pomme enrobée de caramel était une friandise populaire à la foire du comté.
8. Le cidre de pomme était le parfait accompagnement des feuilles d'automne.
9. Les pétales de fleurs de pommier dansaient dans la brise légère.
10. Le jeune garçon a avidement mordu dans la pomme verte.

En revanche, le modèle plus petit exécuté localement n'a pu générer que 7 phrases sur 10 se terminant par le mot "Apple".

Pour calculer le temps qu'il faudrait à 50 personnes pour creuser un seul trou de 10 pieds, nous pouvons utiliser une approche proportionnelle :

• Il faut 1 personne 5 heures pour creuser un trou de 10 pieds
• Donc, il faudrait 50 personnes 1/50e du temps, soit 6 minutes

Le raisonnement est le suivant :

• Si 1 personne met 5 heures, alors 50 personnes mettraient 1/50e de ce temps, soit 5 heures / 50 = 0,1 heure = 6 minutes.
• Le temps de creusage est inversement proportionnel au nombre de personnes, donc doubler le nombre de personnes divise par deux le temps de creusage.

Donc, il faudrait 50 personnes 6 minutes pour creuser un seul trou de 10 pieds.