AutoCoder est un nouveau modèle de langage de grande taille qui a récemment fait des vagues dans la communauté de l'IA. Ce modèle a dépassé les performances de GPT-4 Turbo (la version d'avril 2024) ainsi que le plus récent GPT-4 Omni sur le prestigieux benchmark Human Eval, ce qui est une réalisation impressionnante.

Ce qui distingue AutoCoder, c'est son interpréteur de code polyvalent. Contrairement à GPT-4 Turbo et Omni, qui sont limités aux packages intégrés, AutoCoder peut installer automatiquement des packages externes au besoin, élargissant considérablement la portée des tâches qu'il peut gérer. Cette fonctionnalité permet à AutoCoder de relever un éventail plus large de défis de codage.

Une autre différence clé est la manière dont l'interpréteur de code est invoqué. Avec AutoCoder, l'interpréteur est utilisé de manière sélective, uniquement lorsque l'utilisateur a besoin de vérifier le code. En revanche, l'interpréteur de code ouvert dans GPT-4 Turbo exécute tout le code Python généré par défaut, sans attendre l'entrée de l'utilisateur ou la vérification du code.

L'architecture AI EV Instruct est divisée en deux étapes principales : l'étape d'enseignement et l'étape d'apprentissage autonome.

Dans l'étape d'enseignement, le modèle apprend principalement en distillant les connaissances d'un modèle enseignant, comme GPT-4 Turbo ou DeBERTa. Cette étape comporte quatre étapes clés :

1. Initialisation : Le modèle initialise les rôles, les messages de dialogue et l'interpréteur de code.
2. Résolution de problèmes : Le modèle décrit les problèmes et fournit des solutions, les messages de dialogue étant complétés par la description du problème.
3. Retour d'exécution : Le modèle gère les erreurs, fournit des descriptions en langage naturel et modifie le modèle de code.
4. Fin : Si le programme est exécuté avec succès, les messages de dialogue sont ajoutés pour compléter l'analyse d'une entrée de données, et le processus passe à l'étape d'évaluation des données.

L'étape d'apprentissage autonome est celle où le modèle étudiant remplace le modèle d'origine et assume les rôles à la fois du questionneur et du programmeur. Le modèle étudiant effectue l'ensemble du processus de retour d'exécution de manière autonome, lui permettant de continuer à apprendre et à améliorer ses performances sans dépendre du modèle enseignant.

AutoCoder, un nouveau modèle de langage de grande taille axé sur l'amélioration du code, dispose d'un ensemble de données nettement plus robuste que les autres modèles de pointe axés sur le codage. Voici une ventilation des principales différences :

• Ensemble de données AutoCoder : 169 000 échantillons de données, 241 tours de dialogue, incluant la fonction principale, les installations de packages, les erreurs d'exécution de code et les corrections. Il intègre également des tests unitaires pour une meilleure précision.

• Magic Coder OSS Instruct : 75 000 échantillons de données, 75 tours de dialogue.

• Magic Coder EAL Instruct : Seulement 1 111 échantillons de données, 111 tours de dialogue.

L'ensemble de données beaucoup plus important et les tours de dialogue plus complets dans les données d'entraînement d'AutoCoder lui confèrent un avantage clair sur les autres modèles. L'inclusion de tests unitaires renforce encore la précision et la fiabilité du code généré par AutoCoder.

AutoCoder, un nouveau modèle de langage de grande taille axé sur la génération et l'interprétation de code, a récemment dépassé les performances de GPT-4 Turbo (version d'avril 2024) et GPT-4 Omni sur le benchmark Human Eval. Il s'agit d'une réalisation remarquable, car ces modèles étaient auparavant considérés comme étant à la pointe de l'état de l'art dans le domaine des tâches liées au code.

L'un des principaux avantages d'AutoCoder est sa capacité à accéder et à utiliser des bibliothèques externes, contrairement au modèle plus restreint de GPT-4 Turbo. Cette fonctionnalité élargie permet à AutoCoder de gérer une gamme plus large de tâches et d'applications. De plus, le modèle AutoCoder est conçu pour invoquer de manière sélective l'interpréteur de code en fonction des besoins de l'utilisateur, plutôt que d'exécuter tout le code généré par défaut comme le fait l'interpréteur de code ouvert.

En termes de données d'entraînement, AutoCoder dispose d'un ensemble de données nettement plus important que les autres modèles axés sur les tâches de codage. L'ensemble de données AutoCoder contient 169 000 échantillons de données avec 241 tours de dialogue, incluant la fonction principale, les installations de packages, les erreurs d'exécution de code et les corrections. Cet ensemble de données complet permet au modèle d'apprendre et d'améliorer plus efficacement ses capacités de génération et d'interprétation de code.

L'introduction d'AutoCoder, un nouveau modèle de langage de grande taille qui dépasse GPT-4 Turbo et GPT-4 Omni sur le benchmark Human Eval, est une évolution importante dans le domaine de l'interprétation et de la génération de code. Ce modèle open source, basé sur l'architecture DeepSE coder, offre un interpréteur de code plus polyvalent et plus performant que ses prédécesseurs.

L'une des principales caractéristiques d'AutoCoder est sa capacité à installer automatiquement des packages externes, élargissant ainsi la portée de ses capacités d'interprétation de code. Il s'agit d'une amélioration significative par rapport aux limitations de GPT-4 Turbo, qui se limite aux packages intégrés. L'utilisation sélective de l'interpréteur de code, en fonction des besoins de l'utilisateur, est un autre aspect notable d'AutoCoder.

Les données d'entraînement du modèle, qui incluent un ensemble de données de dialogue à plusieurs tours et un système combinant les interactions des agents avec la vérification de l'exécution du code externe, ont contribué à ses performances impressionnantes. La comparaison de l'ensemble de données d'AutoCoder avec d'autres modèles de pointe, comme LLaMA 3 400B et GPT-4 Omni Ultra, met davantage en évidence ses avantages.