Metabot, un agent de codage de pointe natif de GitHub, a obtenu un score remarquable de 38% sur le benchmark du génie logiciel, dépassant le précédent état de l'art à 33%. Cette percée a été accomplie par la nouvelle architecture cognitive de Metabot qui s'attaque aux problèmes du flux de travail structuré.

L'architecture implique un processus en plusieurs étapes :

1. Rassembler le contexte
2. Planifier et éditer
3. Décomposer le plan en modifications individuelles
4. Appliquer les modifications
5. Tester et examiner le plan
6. Rassembler plus de contexte si nécessaire
7. Soumettre la solution finale

Cette approche itérative et structurée a permis à Metabot de surpasser les leaders de l'industrie comme Factory AI d'Alibaba et IBM Research. Les progrès rapides des agents de codage pilotés par l'IA témoignent de l'accélération du développement de l'IA, avec des améliorations observées toutes les quelques semaines.

Les implications de cette avancée sont importantes, car elle suggère que le rythme des améliorations du développement logiciel pourrait être exponentiel dans les années à venir. Alors que les modèles d'IA continuent d'évoluer, le potentiel du codage assisté par l'IA pour révolutionner l'industrie du génie logiciel devient de plus en plus évident.

Google a récemment publié deux nouveaux modèles de langage, Gemini 2, avec respectivement 27 milliards et 9 milliards de paramètres. Ces modèles ont réussi à surpasser des modèles plus importants comme LLaMA 3 (70 milliards de paramètres), Chinchilla (70 milliards de paramètres) et ChatGPT dans les évaluations subjectives, malgré leur taille plus petite.

Le modèle Gemini 2 de 27 milliards de paramètres a montré des performances impressionnantes, surpassant ces modèles plus importants dans l'arène des chatbots. Bien qu'il ne puisse pas les dépasser sur les référentiels objectifs, le fait que les utilisateurs ne se rendent même pas compte qu'ils interagissent avec un modèle de cette taille est tout à fait remarquable.

De plus, Google a réalisé des progrès significatifs dans ses modèles de langage, notamment en augmentant la longueur de la fenêtre de contexte à 2 millions de jetons dans Gemini 1.5 Pro. Il s'agit d'une amélioration importante par rapport aux modèles précédents et place Google devant les autres principaux laboratoires d'IA dans ce domaine.

La nature open source des modèles Gemini 2, ainsi que leurs performances et leur efficacité impressionnantes, en font un développement prometteur dans le domaine du traitement du langage naturel. Alors que Google continue de lancer de nouveaux modèles et de faire des percées, nous pouvons nous attendre à voir encore plus d'avancées impressionnantes dans les années à venir.

Le paysage de l'IA évolue rapidement, avec plusieurs percées et prédictions clés qui façonnent l'avenir de cette technologie. Voici quelques-uns des développements les plus remarquables :

1. Metabot : un agent de codage révolutionnaire

   • Metabot, un agent de codage de pointe natif de GitHub, a obtenu un score remarquable de 38% sur le benchmark du génie logiciel, dépassant le précédent état de l'art à 33%.
   • Cette réalisation montre les progrès impressionnants du développement logiciel piloté par l'IA, Metabot surpassant les principaux acteurs de l'industrie comme Alibaba, Factory et IBM Research.
   • L'architecture cognitive derrière Metabot, qui comprend la collecte de contexte, la planification, l'édition et les tests, s'est avérée très efficace pour résoudre des défis de codage complexes.

2. Gemini 2 de Google : surpasser les modèles plus importants

   • Google a publié Gemini 2, un modèle de 27 milliards de paramètres et un modèle de 9 milliards de paramètres, qui ont démontré des performances remarquables dans l'arène des chatbots.
   • Ces modèles Gemini 2 ont dépassé des modèles plus importants comme LLaMA 3 (70 milliards de paramètres), Cohere (72 milliards de paramètres) et ChatGPT, montrant le potentiel de systèmes d'IA efficaces et performants.
   • La nature open source de Gemini 2 et sa large compatibilité avec les frameworks en font une option attrayante pour les développeurs et les chercheurs.

3. Expansion des longueurs de contexte : repousser les limites

   • Google a annoncé la disponibilité de Gemini 1.5 Pro avec une fenêtre de contexte de 2 millions de jetons, élargissant considérablement la capacité d'entrée de ses modèles de langage.
   • Ce développement s'aligne sur l'exploration de GPT-4 d'OpenAI, qui a démontré la capacité de traiter des entrées vidéo de 45 minutes, probablement dans la plage d'un million de jetons.
   • La course pour augmenter les longueurs de contexte met en évidence les efforts continus pour améliorer les capacités des modèles d'IA à gérer des entrées plus longues et plus complexes.

4. Les prédictions d'Anthropic : des formations à un milliard de dollars

   • Le PDG d'Anthropic, Dario Amodei, prévoit que d'ici 2027, les modèles d'IA coûteront jusqu'à 100 milliards de dollars à former et dépasseront les capacités humaines dans la plupart des tâches.
   • Cette projection de coût vertigineuse souligne les investissements importants nécessaires pour repousser les limites du développement de l'IA, les prochaines formations pouvant coûter 1 milliard de dollars.
   • Les implications de ces formations à haut coût soulignent la nécessité de financements et de ressources substantiels pour stimuler l'avancement continu de la technologie de l'IA.

5. Accélérer les découvertes scientifiques

   • Amodei suggère également que les modèles d'IA pourraient accélérer les découvertes et les percées scientifiques, notamment dans des domaines comme la biologie et la découverte de médicaments.
   • Le potentiel des systèmes pilotés par l'IA pour fonctionner au niveau des lauréats du prix Nobel ou des experts de premier plan dans divers domaines pourrait conduire à une prolifération de découvertes révolutionnaires.
   • Cette vision s'aligne sur les progrès observés dans des projets comme AlphaFold, qui ont démontré la capacité d'accélérer la prédiction de la structure des protéines.

Alors que le paysage de l'IA continue d'évoluer, ces jalons et ces prédictions soulignent le rythme rapide des progrès et le potentiel transformateur de cette technologie dans divers domaines, du développement logiciel à la recherche scientifique et au-delà.

Dario Amod, le PDG d'Anthropic, a fait des prédictions fascinantes sur l'avenir de l'IA. Il croit que d'ici 2027, les modèles d'IA coûteront jusqu'à 100 milliards de dollars à former, et qu'ils seront meilleurs que la plupart des humains dans la plupart des tâches. Cela suggère que les prochaines formations, potentiellement d'un coût d'un milliard de dollars, repousseront les limites de ce que l'IA peut accomplir.

Un domaine dans lequel Amod pense que l'IA aura un impact significatif est l'accélération des découvertes scientifiques et la guérison des maladies. Il envisage des modèles d'IA spécialisés qui sont aussi compétents et créatifs que les lauréats du prix Nobel ou les responsables de la découverte de médicaments dans les grandes sociétés pharmaceutiques. Ces modèles pourraient expérimenter et explorer de manière que les chercheurs humains ne peuvent pas, menant potentiellement à des percées dans des domaines comme la biologie et la découverte de médicaments.

Nous avons déjà vu des exemples de modèles d'IA, comme AlphaFold de Google, qui ont pu accélérer la découverte de structures de protéines de manière significative. Amod croit que si nous avions "un million de copies d'un système d'IA aussi compétent et créatif dans ce domaine que tous ces scientifiques qui ont inventé ces choses", le rythme des découvertes scientifiques pourrait se multiplier, et même les maladies de longue date pourraient être traitées ou guéries.

Bien que cela puisse sembler un objectif futuriste et difficile, les capacités fondamentales des modèles d'IA suggèrent que de tels progrès sont possibles. À mesure que l'échelle, les algorithmes et le matériel s'améliorent, le potentiel de l'IA pour révolutionner la recherche scientifique et les percées médicales devient de plus en plus tangible.

OpenAI a travaillé sur le développement de modèles "critiques" pour aider à améliorer la précision et l'alignement de leurs systèmes d'IA, en particulier ChatGPT. Les points clés sont les suivants :

• OpenAI a entraîné un modèle appelé "Critic GPT" basé sur GPT-4 pour identifier les erreurs dans les sorties de ChatGPT.
• Lorsque les gens utilisent Critic GPT pour examiner les réponses de ChatGPT, ils surpassent ceux qui n'ont pas le modèle critique 60% du temps.
• OpenAI travaille maintenant à intégrer des modèles similaires à Critic GPT dans leur pipeline d'apprentissage par renforcement avec rétroaction humaine (RLHF).
• Il s'agit d'un exemple d'"auto-amélioration récursive" où les modèles d'IA sont utilisés pour évaluer et améliorer d'autres modèles d'IA.
• À mesure que les modèles d'IA deviennent plus avancés, il devient de plus en plus difficile pour les formateurs humains de repérer leurs erreurs subtiles. Les modèles critiques peuvent aider à relever ce défi.
• Cependant, il existe une limitation fondamentale - à un certain point, les modèles d'IA peuvent devenir plus intelligents que n'importe quel individu humain fournissant des commentaires, rendant l'approche avec un humain dans la boucle plus difficile.
• Cela soulève des questions sur le moment et la manière dont les systèmes d'IA peuvent passer à une auto-amélioration récursive complète sans supervision humaine directe.