Les principales étapes de la construction de ce système de recherche multi-agent sont :

1. Créer trois assistants GPT différents :

   • Directeur : Lit et met à jour la base de données Airtable, décompose les tâches de recherche et les délègue au gestionnaire de recherche et aux chercheurs.
   • Gestionnaire de recherche : Génère des plans de recherche, examine et assure le contrôle de la qualité des recherches effectuées par les chercheurs.
   • Chercheur : L'agent qui navigue réellement sur Internet, rassemble les informations et produit les résultats de la recherche.

2. Utiliser le cadre Autogon d'Anthropic :

   • Autogon simplifie l'utilisation de l'API Assistant d'OpenAI en fournissant un moyen simple d'orchestrer la collaboration entre les différents agents.

3. Mettre en œuvre les fonctions nécessaires :

   • Recherche Google
   • Extraction et résumé de sites Web
   • Récupération et mise à jour des enregistrements Airtable

4. Connecter les agents entre eux :

   • Créer un chat de groupe avec l'agent proxy utilisateur, le chercheur, le gestionnaire de recherche et le directeur.
   • Déclencher des messages au groupe pour lancer le processus de recherche.

Dans le passé, mon agent de recherche était une simple chaîne de modèles de langage linéaires qui suivait un processus très simple. Il pouvait prendre un sujet de recherche, déclencher une recherche Google et laisser un grand modèle de langage choisir les liens les plus pertinents et rédiger les sites Web. L'agent générait ensuite un rapport basé sur les informations collectées. Bien que cette approche ait fonctionné, elle se limitait à des tâches de recherche très basiques et évidentes.

Deux mois plus tard, l'agent de recherche a évolué en un agent IA - une combinaison d'un grand modèle de langage, de mémoire et d'outils. Cet agent pouvait raisonner pour décomposer un grand objectif en sous-tâches et avait accès à divers outils comme l'API de recherche Google pour accomplir ces tâches. Il avait également une mémoire à long terme pour se souvenir de ses actions précédentes. La différence fondamentale était que l'agent IA était plus orienté vers les objectifs, lui permettant d'entreprendre plusieurs actions pour accomplir une tâche de recherche, même avec des objectifs assez ambigus.

Cette deuxième version de l'agent de recherche était une amélioration significative, produisant des résultats de recherche de meilleure qualité et fournissant une liste de liens de référence. Cependant, elle présentait encore quelques problèmes. La qualité des résultats n'était pas toujours cohérente, et l'agent avait du mal avec des actions complexes ou contraintes que le modèle OpenAI n'était pas conçu pour gérer, comme trouver des informations de contact spécifiques.

La prochaine percée est venue avec l'émergence de systèmes multi-agents comme M-GPT et ChatDef. Ces systèmes visaient à améliorer les performances des tâches en introduisant non seulement un, mais plusieurs agents travaillant ensemble. Les récents cadres comme Autogon ont encore facilité la création de ces systèmes collaboratifs, permettant la création flexible de diverses hiérarchies et structures pour orchestrer la coopération entre différents agents.

Avec la sortie de l'API Assistant OpenAI et de GPT-3, le coût de la construction d'agents utiles a considérablement diminué. Cela m'a incité à créer un chercheur IA 3.0, où l'agent de recherche d'origine effectue toujours la recherche, mais un agent de gestionnaire de recherche est introduit pour critiquer les résultats et assurer le contrôle de la qualité. De plus, un agent de directeur de recherche peut être ajouté pour décomposer les grands objectifs de recherche en sous-tâches et les déléguer au gestionnaire de recherche et aux chercheurs, tout en gérant également des tâches comme la lecture et l'écriture dans une base de données Airtable.

Ce système multi-agent représente un changement de paradigme dans la façon dont nous pensons l'IA générale. Au lieu d'une seule IA capable de tout faire, l'accent est mis sur la création d'agents spécialisés qui peuvent collaborer vers un objectif commun. Cette approche permet de relever les défis techniques de la formation d'un système AGI unique et tout-puissant.

La clé pour former ces agents hautement spécialisés réside dans deux méthodes courantes : l'affinage fin et la génération augmentée par la récupération de bases de connaissances (RAG). L'affinage fin est utile lorsque vous voulez améliorer les compétences du modèle dans l'exécution de tâches spécifiques, tandis que le RAG est mieux adapté pour fournir aux grands modèles de langage des données précises et à jour.

Pour rendre le processus d'affinage fin plus accessible, des plateformes comme Gradio ont émergé, simplifiant l'affinage fin de modèles open source haute performance comme LLaMA et Hermit. Gradio élimine le besoin d'infrastructures et d'unités de calcul dédiées, permettant aux développeurs et aux entreprises d'affiner les modèles avec seulement quelques lignes de code et un modèle de tarification à l'utilisation.

En tirant parti de ces progrès, le système de chercheur IA 3.0 peut maintenant fournir des résultats de recherche plus cohérents et autonomes, les différents agents collaborant pour assurer la qualité et l'efficacité.

Les versions initiales du chercheur IA avaient des limites, comme un flux linéaire et une qualité incohérente. Pour résoudre ces problèmes, l'auteur a exploré l'utilisation d'agents IA - une combinaison de grands modèles de langage, de mémoire et d'outils. Cela a permis une recherche plus orientée vers les objectifs, où l'agent pouvait décomposer une tâche en sous-tâches et utiliser divers outils pour mener à bien la recherche.

L'introduction de systèmes multi-agents, tels que M8GT et ChatDef, a encore amélioré les performances des tâches en faisant collaborer plusieurs agents. Les récents cadres comme Autogon d'Anthropic ont encore facilité la création de ces systèmes collaboratifs, permettant le développement de hiérarchies et de structures flexibles pour orchestrer la coopération entre différents agents.

L'auteur a ensuite décidé de créer un chercheur IA 3.0, où l'agent de recherche d'origine se concentrerait sur la recherche proprement dite, tandis qu'un agent de gestionnaire de recherche serait introduit pour critiquer les résultats et assurer le contrôle de la qualité. De plus, un agent de directeur de recherche a été ajouté pour décomposer les objectifs de recherche en sous-tâches et les déléguer aux agents de gestionnaire de recherche et de chercheur. Cette approche multi-agent a conduit à une qualité de recherche plus cohérente et à un système plus autonome.

L'auteur a également abordé les deux moyens courants de former des agents spécialisés : l'affinage fin et la génération augmentée par la récupération de bases de connaissances (RAG). Bien que l'affinage fin puisse améliorer les compétences du modèle dans des tâches spécifiques, il peut être difficile et nécessiter du matériel spécialisé. L'auteur a mis en avant la plateforme Gradio d'Anthropic comme un outil qui simplifie le processus d'affinage fin et le rend accessible aux développeurs et aux entreprises.

Finalement, l'auteur a fourni un guide étape par étape sur la construction de ce système de recherche multi-agent à l'aide d'Autogon, démontrant la flexibilité et la puissance de cette approche pour créer des systèmes IA autonomes et collaboratifs.

L'affinage fin de modèles open source haute performance peut être une tâche difficile, nécessitant souvent du matériel spécialisé avec une grande capacité de mémoire. Cependant, Gradient, une plateforme développée par Anthropic, réduit considérablement les obstacles à l'affinage fin en rendant le processus extrêmement simple et accessible à tous les développeurs et entreprises.

Avec seulement quelques lignes de code, vous pouvez affiner des modèles comme LLaMA, Noris et Hermès à l'aide de Gradient. La plateforme prend en charge plusieurs langages de programmation, notamment Node.js, Python et une interface en ligne de commande, et fournit tous les outils et tutoriels nécessaires pour vous lancer rapidement.

L'un des principaux avantages de l'utilisation de Gradient est son modèle de tarification. Traditionnellement, l'affinage fin nécessite des coûts initiaux pour une infrastructure et des unités de calcul dédiées. Gradient, en revanche, élimine le besoin d'infrastructure et vous permet de ne payer que ce que vous utilisez, selon un système basé sur des jetons.

Si vous cliquez sur le lien dans la description ci-dessous, vous recevrez 5 $ de crédits gratuits pour commencer avec Gradient. Cela peut être particulièrement utile si vous avez besoin d'affiner des modèles mais ne savez pas par où commencer. La plateforme conviviale de Gradient et ses ressources complètes rendent le processus transparent, vous permettant de vous concentrer sur vos cas d'utilisation et vos exigences spécifiques.

La clé pour construire un système de recherche multi-agent efficace réside dans la définition claire des rôles et des responsabilités de chaque agent, ainsi que dans l'établissement d'un cadre de coordination solide. Dans ce système, nous avons trois agents distincts :

1. Directeur de recherche : Le directeur est responsable de la gestion du processus de recherche dans son ensemble. Ils extraient la liste des entreprises à étudier de la base de données Airtable, décomposent les tâches de recherche et les délèguent au gestionnaire de recherche et aux chercheurs. Le directeur met également à jour les enregistrements Airtable avec les résultats de recherche terminés.

2. Gestionnaire de recherche : Le gestionnaire de recherche agit comme le gardien du contrôle de la qualité. Ils examinent les résultats de recherche fournis par les chercheurs, donnent des commentaires et s'assurent que les informations recueillies sont complètes et alignées avec les objectifs de recherche.

3. Chercheurs : Les chercheurs sont les chevaux de trait du système. Ils sont chargés d'effectuer la recherche proprement dite, d'effectuer des recherches Google, d'extraire les sites Web pertinents et de résumer les résultats.

La coordination entre ces agents est facilitée par le cadre Autogon, qui simplifie l'utilisation de l'API Assistant OpenAI. Chaque agent est défini comme un agent assistant GPT, avec des invites système spécifiques et des fonctions enregistrées. Les agents communiquent via un chat de groupe, où le directeur délègue les tâches, les chercheurs fournissent des mises à jour et le gestionnaire examine et donne des commentaires.

En décomposant le processus de recherche en ces rôles spécialisés, le système est en mesure de fournir des résultats de recherche plus cohérents et de meilleure qualité. Le directeur s'assure que la recherche est alignée avec les objectifs globaux, le gestionnaire assure le contrôle de la qualité et les chercheurs se concentrent sur l'exécution des tâches.

Cette approche multi-agent représente un changement de paradigme dans la façon dont nous pensons l'IA générale (AGI). Au lieu d'une seule IA tout-puissante, le système est composé de plusieurs agents spécialisés qui collaborent vers un objectif commun. Cette conception modulaire et évolutive permet l'introduction d'agents supplémentaires, comme un "directeur de recherche" ou un "analyste de données", pour améliorer davantage les capacités du système.

Le développement du système de chercheur IA illustre les progrès rapides des capacités de l'IA, notamment dans les domaines de la collaboration multi-agent et du raisonnement orienté vers les tâches. Les points clés de ce système incluent :

1. Architecture modulaire d'agents : Le système est construit à l'aide d'une approche multi-agent, avec des agents spécialisés (directeur, gestionnaire de recherche et chercheur) travaillant ensemble pour accomplir la tâche de recherche. Cette conception modulaire permet la flexibilité et l'évolutivité.

2. Flux de travail de recherche automatisé : Le système automatise le processus de recherche, de la décomposition de l'objectif de recherche, à la délégation des tâches, en passant par les recherches Web et la synthèse des résultats, jusqu'à la mise à jour des résultats finaux dans la base de données Airtable.

3. Assurance qualité : L'agent de gestionnaire de recherche agit comme un mécanisme de contrôle de la qualité, en fournissant des commentaires et en poussant l'agent de chercheur à trouver des informations plus complètes pour garantir des résultats de recherche de haute qualité.

4. Utilisation d'outils externes : Le système intègre divers services externes, tels que la recherche Google, l'extraction de sites Web et Airtable, pour rassembler et organiser les données de recherche, démontrant la capacité à utiliser un ensemble diversifié d'outils.

5. Amélioration continue : L'auteur souligne le processus de développement itératif, chaque version du système de chercheur IA introduisant de nouvelles capacités et s'attaquant aux limitations précédentes, comme l'incohérence de la qualité et la gestion de la mémoire.

6. Accessibilité et évolutivité : L'utilisation de plateformes comme Gradio pour l'affinage fin des modèles et Autogon pour la coordination multi-agent aide à réduire les obstacles techniques pour les développeurs qui souhaitent construire et déployer de tels systèmes.

Dans l'ensemble, ce système de chercheur IA représente une étape importante dans le développement d'agents IA autonomes et orientés vers les tâches, capables de collaborer pour relever des défis de recherche complexes. La conception modulaire et évolutive, combinée à l'intégration d'outils et de services externes, montre le potentiel de tels systèmes à être appliqués dans un large éventail de domaines, de la vente et du capital-risque à tout domaine nécessitant une recherche complète et fiable.