RAG (Retrieval Augmented Generation) est une approche utilisée pour améliorer les grands modèles de langage existants en intégrant des connaissances externes. L'idée clé derrière RAG est de combiner la puissance des grands modèles de langage avec la capacité de récupérer et d'exploiter les informations pertinentes provenant de sources externes, telles que des bases de connaissances ou des corpus de textes.

Les principaux avantages de l'approche RAG sont :

1. Amélioration de la pertinence : En récupérant et en intégrant les informations pertinentes, RAG peut fournir des réponses plus précises et pertinentes, notamment pour les questions nécessitant des connaissances spécifiques.

2. Réduction des hallucinations : Il a été démontré que RAG réduit la tendance des grands modèles de langage à générer du contenu halluciné ou factuellement incorrect, car les réponses sont ancrées dans les informations récupérées.

3. Polyvalence : En plus de la réponse aux questions, RAG peut être appliqué à diverses tâches de traitement du langage naturel telles que l'extraction d'informations, les recommandations, l'analyse des sentiments et la résumé.

4. Gestion des données privées : RAG peut fonctionner avec des ensembles de données privées ou sensibles, car les informations sont traitées et stockées localement, sans nécessiter de partager les données avec des services externes.

GraphRAG est une avancée significative par rapport aux systèmes RAG (Retrieval Augmented Generation) traditionnels. Voici en quoi il diffère :

1. Extraction de graphes de connaissances : Contrairement à la simple récupération de texte, GraphRAG combine l'extraction de texte, l'analyse de réseau et l'amorçage du modèle de langage pour construire un graphe de connaissances complet à partir des données d'entrée. Cela permet une compréhension plus approfondie et plus holistique du contenu.

2. Amélioration de la précision et de la pertinence : En tirant parti du graphe de connaissances, GraphRAG peut fournir des réponses plus précises et pertinentes, notamment pour les jeux de données complexes ou spécialisés. L'approche basée sur les graphes aide à relier les différentes pièces d'information et à synthétiser des informations qui surpassent les techniques RAG de base.

3. Compréhension holistique des données : GraphRAG suit une approche plus complète, améliorant la compréhension et le résumé globaux des grandes collections de données. Cela en fait un choix supérieur pour exploiter les grands modèles de langage dans des tâches avancées d'analyse de données et de réponse aux questions.

4. Réduction des hallucinations : Il a été démontré que GraphRAG réduit les tendances des grands modèles de langage à générer du contenu "halluciné" qui n'est pas ancré dans les informations fournies. L'approche basée sur les graphes aide le modèle à adhérer plus étroitement aux informations fiables dans le contexte.

5. Polyvalence : En plus de la réponse aux questions, GraphRAG peut être appliqué à une variété de tâches de traitement du langage naturel, telles que l'extraction d'informations, les recommandations, l'analyse des sentiments et le résumé, le tout dans un environnement de stockage privé et local.

Pour commencer avec GraphRAG, suivez ces étapes :

1. Installer les prérequis :

   • Assurez-vous d'avoir Python installé sur votre système.
   • Installez les packages requis en exécutant pip install graphrag dans votre terminal ou invite de commande.

2. Cloner le dépôt :

   • Ouvrez Visual Studio Code (ou votre IDE préféré) et créez un nouveau dossier pour le projet.
   • Dans le terminal, naviguez jusqu'au dossier du projet et exécutez git clone https://github.com/microsoft/graph-rag.git pour cloner le dépôt GraphRAG.

3. Configurer l'environnement :

   • Dans le terminal, naviguez jusqu'au répertoire graph-rag.
   • Exportez votre clé API OpenAI en exécutant export GRAPHRAG_API_KEY=your_api_key_here.

4. Créer un dossier d'entrée :

   • Dans le terminal, exécutez mkdir input pour créer un dossier d'entrée pour vos documents.

5. Indexer les documents :

   • Placez vos documents (par exemple, des fichiers texte, des PDF) dans le dossier input.
   • Dans le terminal, exécutez python dm_rag_index.py pour indexer les documents.

6. Discuter avec les documents :

   • Dans le terminal, exécutez python dm_graph_rag.py --query "your_query_here" --root_dir . --method global.
   • Remplacez "your_query_here" par la question ou la requête que vous souhaitez poser sur les documents.

Pour commencer avec GraphRAG, vous devrez suivre ces étapes :

1. Installer les prérequis :

   • Assurez-vous d'avoir Python installé sur votre système.
   • Installez Pip en exécutant la commande fournie dans votre invite de commande.

2. Cloner le dépôt :

   • Ouvrez Visual Studio Code et créez une nouvelle fenêtre.
   • Ouvrez le terminal en cliquant sur le bouton de basculement du panneau.
   • Dans le terminal, naviguez jusqu'à l'environnement bash et exécutez la commande pip install graphrag pour installer les packages nécessaires.

3. Configurer l'environnement :

   • Dans le terminal, tapez cd graphrag pour naviguer jusqu'au dépôt cloné.
   • Exportez votre clé API OpenAI en exécutant la commande export GRAPHRAG_API_KEY=your_api_key_here.

4. Créer un dossier d'entrée :

   • Dans le terminal, exécutez la commande mkdir input pour créer un dossier d'entrée où vous placerez vos fichiers ou documents.
   • Ouvrez le dossier dans VS Code en cliquant sur "Fichier" > "Ouvrir le dossier" et en sélectionnant le dépôt cloné.

5. Indexer le document :

   • Placez votre document (par exemple, un rapport financier) dans le dossier d'entrée.
   • Dans le terminal, exécutez la commande python dm_rrag index pour indexer le document actuel.
   • Cela créera un rapport communautaire sur le document indexé, que vous pourrez ensuite utiliser pour discuter.

6. Configurer l'environnement :

   • Dans le fichier env, vous pouvez configurer la clé API, le type de modèle et d'autres paramètres.
   • Vous pouvez spécifier l'utilisation d'un modèle LLAMA ou de l'interface OpenAI.
   • Enregistrez les modifications dans le fichier env.

7. Exécuter le code :

   • Dans le terminal, exécutez la commande python dm_rrag query --root_folder . --method global --query "your_query_here" pour commencer à discuter avec le document indexé.

Pour discuter avec GraphRAG, suivez ces étapes :

1. Après avoir indexé le document à l'aide de la commande python dm_rrag index, vous pouvez lancer la discussion en exécutant la commande python dm_rrag query --root_folder . --method global "your query here".

2. Remplacez "your query here" par la question ou l'invite que vous souhaitez poser à GraphRAG concernant le document indexé.

3. GraphRAG utilisera alors le graphe de connaissances qu'il a créé pendant le processus d'indexation pour fournir une réponse pertinente et informative, en tirant parti de la puissance des grands modèles de langage et des informations structurées dans le graphe de connaissances.

4. Vous pouvez continuer à discuter avec GraphRAG en exécutant la même commande avec différentes requêtes. Le système utilisera le graphe de connaissances existant pour fournir des réponses adaptées à vos questions.

5. Si vous souhaitez passer à un autre modèle de langage, vous pouvez le configurer dans le fichier .env en spécifiant le LLM_TYPE et en fournissant le point de terminaison API approprié ou le chemin du modèle local.

6. L'approche holistique de GraphRAG pour la génération augmentée par la récupération lui permet de surpasser les techniques RAG de base traditionnelles, notamment pour les jeux de données complexes ou privés, en reliant les différentes pièces d'information et en fournissant des informations synthétisées.