L'ère des petits modèles très performants est arrivée. Cette semaine, OpenAI a publié GPT-4 Mini, une version plus petite, plus rapide et beaucoup moins chère de GPT-4. Facturé à 15 cents par million de jetons d'entrée et 60 cents par million de jetons de sortie, GPT-4 Mini est 60% moins cher que GPT-3.5 Turbo.

GPT-4 Mini obtient un score impressionnant de 82% sur le benchmark MLU et surpasse actuellement GPT-4 sur les préférences de chat sur le classement LM Cy. Il prend en charge le texte et la vision dans l'API, avec la prise en charge des entrées et sorties de texte, d'image, de vidéo et d'audio à venir dans le futur. Le modèle a une fenêtre de contexte de 128 000 jetons et des connaissances jusqu'en octobre 2023.

Dans les tests de performance, GPT-4 Mini a démontré sa vitesse et ses capacités. Il a pu générer rapidement un script Python pour afficher les nombres de 1 à 100, créer un jeu de Snake fonctionnel et résoudre divers problèmes de logique et de raisonnement. Comparé à GPT-4, GPT-4 Mini était jusqu'à trois fois plus rapide dans certaines tâches.

Cependant, lorsqu'il s'est agi de tâches liées à la vision, comme l'analyse d'images et la conversion d'un document Excel en CSV, GPT-4 Mini a pris plus de temps et a utilisé beaucoup plus de jetons que GPT-4. Cela suggère que pour les tâches impliquant la vision, GPT-4 peut être le meilleur choix si la latence est une préoccupation.

Dans l'ensemble, GPT-4 Mini est une réalisation remarquable d'OpenAI, offrant des performances impressionnantes à une fraction du coût de son homologue plus important. La vitesse et l'efficacité en termes de coûts de ce modèle en font une option convaincante pour les développeurs et les entreprises qui souhaitent exploiter la puissance des modèles de langage de grande taille sans se ruiner.

J'ai commencé par tester la capacité de GPT-4 Mini à générer de simples scripts Python. Il a pu rapidement et avec précision produire un script pour imprimer les nombres de 1 à 100. Ensuite, je lui ai demandé d'écrire le jeu du serpent en Python, et il a livré un script fonctionnel en seulement 5,8 secondes, soit 3 fois plus rapide que GPT-4.

J'ai ensuite testé sa capacité à gérer des invites plus sensibles, comme comment forcer l'entrée dans une voiture. Bien que GPT-4 Mini ait fourni quelques informations, je sais que ce type de contenu sera probablement corrigé bientôt, donc je l'ai marqué comme un échec.

Passant à des tâches plus logiques et axées sur le raisonnement, GPT-4 Mini s'est très bien comporté. Il a correctement expliqué le temps de séchage des chemises, résolu un problème de mathématiques de base et même compté avec précision le nombre de mots de ma réponse précédente.

Lorsqu'on lui a présenté un casse-tête logique classique sur des tueurs dans une pièce, GPT-4 Mini a fourni une explication détaillée et étape par étape qui correspondait à la réponse de GPT-4.

J'ai également testé ses capacités de vision en lui demandant d'expliquer un mème et de convertir une capture d'écran Excel en format CSV. Bien que GPT-4 ait été plus rapide pour les tâches de vision, GPT-4 Mini a tout de même réussi à les accomplir avec succès.

GPT-4 Mini a démontré des capacités de raisonnement et de logique impressionnantes tout au long du processus de test. Voici les principaux points forts :

• A résolu correctement le script Python pour afficher les nombres de 1 à 100, ainsi que la mise en œuvre du jeu du serpent, démontrant ses capacités de programmation.
• A fourni une explication solide pour le problème du temps de séchage des chemises, reconnaissant que le temps de séchage est indépendant du nombre de chemises.
• A calculé avec précision le montant total de la facture d'hôtel, y compris le tarif de la chambre, les taxes et les frais supplémentaires.
• A correctement identifié le nombre de mots dans la réponse donnée, surpassant le modèle GPT-4 plus important.
• A raisonné de manière logique à travers le scénario du "problème du tueur", identifiant le nombre correct de tueurs restants.
• A démontré une bonne compréhension du problème de la bille, déduisant correctement l'emplacement final de la bille.

Bien que GPT-4 Mini ait eu des difficultés avec certaines tâches, comme les "10 phrases se terminant par Apple" et l'analyse d'images, il a globalement fait preuve d'une solide maîtrise du raisonnement et de la pensée logique. La vitesse et l'efficacité en termes de coûts du modèle en font une option convaincante pour de nombreuses applications qui accordent la priorité à ces capacités cognitives.

GPT-4 Mini a démontré des performances impressionnantes dans les tâches de vision et de traitement d'images présentées. Voici les principales conclusions :

• Explication d'image : Lorsqu'on lui a montré un mème contrastant la dynamique des startups et des grandes entreprises, GPT-4 Mini a expliqué avec précision la blague et les différences représentées dans les deux images.

• Conversion d'image en CSV : Lorsqu'on lui a présenté une capture d'écran d'un tableur Excel, GPT-4 Mini a pu convertir correctement les données au format CSV, démontrant sa capacité à traiter et à transformer des informations visuelles.

• Analyse du stockage : Lorsqu'on lui a présenté une capture d'écran de la répartition du stockage d'un iPhone, GPT-4 Mini a correctement identifié l'espace de stockage restant et l'application consommant le plus d'espace, démontrant sa capacité à extraire et à interpréter les informations pertinentes à partir de données visuelles.

Cependant, l'analyse a également révélé que si GPT-4 Mini excellait dans les tâches basées sur le texte, il était plus lent et nécessitait beaucoup plus de jetons lors du traitement des entrées visuelles par rapport au modèle GPT-4 plus important. Cela suggère que pour les applications fortement dépendantes de la vision et du traitement d'images, le modèle GPT-4 standard peut être le choix le plus approprié, en privilégiant les performances par rapport à l'efficacité en termes de coûts de GPT-4 Mini.

Dans l'ensemble, les résultats mettent en évidence la polyvalence de GPT-4 Mini dans la gestion d'une gamme de tâches, y compris la vision et le traitement d'images, tout en maintenant un avantage substantiel en termes de performances et d'efficacité des coûts par rapport à son homologue plus important. Cela fait de GPT-4 Mini une option convaincante pour les applications où le compromis entre le coût et les performances est un élément clé à prendre en compte.

Les tests de GPT-40 mini ont révélé certaines capacités impressionnantes de ce modèle plus petit et plus rentable. Comparé au modèle GPT-4 plus important, GPT-40 mini a démontré une vitesse et des performances remarquables dans une variété de tâches, notamment l'écriture de scripts Python, la résolution de problèmes de logique et même la génération de contenu créatif.

Un des principaux avantages de GPT-40 mini est son coût nettement inférieur, avec des tarifs 60% moins chers que GPT-3.5 Turbo. Cela en fait une option attrayante pour les développeurs et les entreprises qui souhaitent exploiter la puissance des modèles de langage sans le prix élevé.

Cependant, les tests ont également mis en évidence certaines limites de GPT-40 mini, notamment lorsqu'il s'agit de tâches impliquant le traitement visuel. Le modèle a eu du mal à égaler les performances de GPT-4 dans des tâches comme l'analyse et la conversion d'images, prenant souvent plus de temps pour les traiter et utilisant beaucoup plus de jetons.

Dans l'ensemble, l'émergence de GPT-40 mini représente une étape importante dans l'évolution des modèles de langage, démontrant le potentiel des modèles plus petits et plus efficaces à offrir des capacités impressionnantes à une fraction du coût. Alors que l'ère du petit modèle continue de se déployer, il sera intéressant de voir comment GPT-40 mini et les modèles similaires seront adoptés et utilisés dans diverses applications.