Dans cette section, nous explorerons l'utilisation de modèles de langue locaux (LLM) avec le cadre Graph RAG (Retrieval-Augmented Generation). Bien que l'utilisation d'un modèle local puisse apporter certains avantages, il existe également des défis importants à prendre en compte.

L'un des principaux avantages de l'utilisation d'un LLM local est le potentiel d'économies de coûts. L'accès à une API distante comme OpenAI peut être coûteux, surtout pour les applications à grande échelle. En exécutant un modèle local, vous pouvez éviter ces coûts d'API et potentiellement réduire les dépenses opérationnelles globales de votre système Graph RAG.

Cependant, le choix du LLM est essentiel pour Graph RAG. Contrairement aux systèmes d'extraction d'informations traditionnels, où le modèle d'intégration joue un rôle plus crucial, le LLM dans Graph RAG est responsable de l'extraction d'entités, de la reconnaissance des relations et de la génération de résumés. Un LLM plus petit ou moins capable, comme le modèle Llama-38B utilisé dans l'exemple, peut avoir du mal à effectuer ces tâches efficacement, entraînant des résultats sous-optimaux.

L'exemple montre que les performances du modèle Llama-38B ne sont pas aussi bonnes que celles du modèle GPT-4 utilisé dans la vidéo précédente. Le résumé généré par Llama-38B ne parvient pas à capturer le thème principal du livre aussi précisément que la sortie de GPT-4. Cela souligne l'importance d'utiliser un LLM plus grand et plus capable pour les applications Graph RAG.

Pour relever ce défi, la vidéo suggère d'explorer l'utilisation de modèles plus importants, comme le modèle Llama-370B de Gro. Cependant, cela s'accompagne de ses propres considérations, comme la nécessité de gérer les limites de débit et les temps de traitement potentiellement plus longs requis pour l'indexation et l'interrogation.

Pour configurer l'environnement LLM local pour le système Graph Retrieval Augmented Generation (Graph RAG), suivez ces étapes :

1. Télécharger et installer AMA : Tout d'abord, vous devez télécharger et installer l'AMA (Anthropic Model API) sur votre machine locale. Cela vous permettra d'utiliser un modèle de langue local, comme le modèle Llama 3, pour votre application Graph RAG.

2. Choisir le modèle LLM : Une fois que vous avez configuré AMA, vous devez choisir le modèle de langue que vous voulez utiliser. Dans ce cas, nous utiliserons le modèle Llama 3, mais il est recommandé d'utiliser un modèle plus important si votre matériel le permet, car les modèles plus importants ont tendance à mieux fonctionner avec Graph RAG.

3. Configurer les paramètres Graph RAG : Ensuite, vous devez mettre à jour le fichier settings.yml de votre projet Graph RAG. Définissez la section llm pour utiliser l'API AMA, en fournissant la clé API (qui est "AMA" dans ce cas), le nom du modèle (Llama 3) et l'URL de base de l'API (http://localhost:11434/v1).

4. Exécuter l'indexation locale : Pour créer l'index de vos documents, exécutez la commande python dm_craft_rank.index. Cela traitera les fichiers d'entrée dans le dossier spécifié et générera les fichiers d'intégration et d'index nécessaires.

5. Tester le LLM local avec Graph RAG : Une fois l'indexation terminée, vous pouvez tester le LLM local en exécutant la commande python dm_graph_rag.query avec l'invite "what is the main theme of the book". Cela utilisera le modèle Llama 3 local pour générer une réponse basée sur le graphe créé.

Pour utiliser un modèle local avec Graph RAG, vous devrez d'abord télécharger et configurer le modèle AMA (Anthropic) sur votre machine locale. Dans ce cas, nous utiliserons le modèle Llama 3, mais il est recommandé d'utiliser un modèle plus important si votre matériel le permet.

Le modèle Llama 3 suit le même standard d'API qu'OpenAI, ce qui facilite le remplacement du serveur API OpenAI par le nouvel endpoint AMA. L'URL de base par défaut pour l'API AMA est http://localhost:11434/v1, et la clé API est simplement "AMA".

Ensuite, vous devrez mettre à jour le fichier settings.yml de votre projet Graph RAG pour pointer vers le nouvel endpoint API AMA et le modèle. Définissez llm.api_key sur "AMA", llm.model sur "Llama 3" et llm.base_api sur l'endpoint API AMA local.

Si vous utilisez l'API Gro pour servir le modèle, vous devrez mettre à jour llm.api_key sur l'endpoint API Gro et llm.model sur le modèle Llama 370 milliards. De plus, vous devrez définir llm.requests_per_minute sur une valeur plus faible (par exemple, 30) pour éviter les dépassements de délai.

Le processus d'indexation peut prendre beaucoup de temps, surtout lors de l'utilisation d'un modèle plus important. Sur un MacBook Pro M2 avec 96 Go de RAM, le processus d'indexation a pris environ 27 minutes pour terminer 50-58% de la tâche.

Une fois l'indexation terminée, vous pouvez exécuter la requête Graph RAG en utilisant la même invite que dans la vidéo précédente. La réponse du modèle Llama 3 peut ne pas être aussi bonne que la réponse du modèle GPT-4, car le choix du modèle de langue est plus critique pour Graph RAG que pour les systèmes de questions-réponses traditionnels.

L'utilisation d'un modèle de langue local comme Llama 3 pour le système Graph Rack peut être plus difficile que l'utilisation d'un modèle plus puissant comme GPT-4. Les principales raisons en sont :

1. Extraction d'entités et de relations : La qualité du graphe de connaissances construit par Graph Rack dépend fortement de la capacité du LLM à extraire avec précision les entités et leurs relations à partir du texte d'entrée. Les modèles plus petits comme Llama 3 peuvent avoir du mal avec cette tâche, entraînant un graphe de connaissances inférieur.

2. Génération de résumés : Graph Rack s'appuie sur le LLM pour générer des résumés des communautés identifiées dans le graphe de connaissances. Un LLM plus capable comme GPT-4 est mieux adapté à cette tâche, produisant des résumés plus cohérents et informatifs.

3. Conception de prompts : Différents LLM réagissent différemment à la même invite. Optimiser les invites pour un modèle plus petit comme Llama 3 nécessite plus d'efforts et d'expérimentation par rapport à l'utilisation de GPT-4, qui a montré de meilleures performances en peu de temps.

La conception d'invites est un aspect essentiel lorsque l'on travaille avec des modèles de langue à grande échelle (LLM) dans le contexte des systèmes de récupération et de génération augmentée par graphe (graph-RAG). Le choix du LLM est plus crucial dans graph-RAG que dans les systèmes de récupération traditionnels, car le LLM joue un rôle central dans l'extraction précise des entités, la reconnaissance des relations et la génération de résumés cohérents.

Lorsque l'on utilise un LLM plus petit comme Lama-38B, le modèle peut avoir du mal à extraire avec précision les entités et les relations du texte, entraînant la création d'un graphe de connaissances de qualité inférieure. Cela se traduit à son tour par des résumés et des réponses sous-optimaux. En revanche, les LLM plus importants comme Lama-370B ou GPT-4 ont une plus grande capacité à comprendre les nuances du texte et à générer des résultats plus précis et informatifs.

Cependant, l'utilisation d'un LLM plus important n'est pas une solution miracle. La conception d'invites devient cruciale pour s'assurer que le LLM reçoit le contexte et les instructions appropriés pour générer les réponses souhaitées. Les invites qui fonctionnent bien pour un LLM peuvent ne pas être aussi efficaces pour un autre, car les différents modèles ont des forces et des faiblesses uniques.

Dans cette section, nous explorerons d'autres implémentations du cadre Graph RAG et discuterons des orientations futures potentielles pour cette approche.

Bien que la vidéo précédente ait démontré l'utilisation d'un modèle local Llama avec le système Graph RAG, les résultats ont mis en évidence l'importance du choix d'un modèle de langue de haute qualité pour des performances optimales. Le choix du modèle de langue est un facteur critique dans l'approche Graph RAG, car il a un impact direct sur l'extraction d'entités et l'identification des relations, qui sont essentielles pour construire le graphe de connaissances.

Une orientation future potentielle serait d'explorer l'utilisation de modèles de langue plus importants et plus puissants, comme le modèle Llama 370 milliards, qui a démontré de meilleurs résultats par rapport au plus petit modèle Llama 38 milliards. Cependant, l'utilisation de ces modèles plus importants peut s'accompagner de défis supplémentaires, comme des exigences de calcul accrues et des problèmes potentiels de limitation des taux lorsque l'on utilise des services d'API externes comme Gro.

Un autre domaine d'exploration pourrait être l'étude de modèles d'intégration alternatifs pour remplacer le modèle d'intégration OpenAI, qui manque actuellement d'une API standardisée entre les différents fournisseurs. Développer une intégration de modèle d'intégration plus flexible et interopérable pourrait améliorer la flexibilité et la portabilité globales du système Graph RAG.

L'utilisation de modèles locaux comme Lama 3 avec Graph Rag n'est pas recommandée, car le choix du modèle de langue (LLM) joue un rôle essentiel dans les performances du système Graph Rag. Des LLM plus importants et plus capables, comme le modèle Lama 370 milliards, sont nécessaires pour extraire avec précision les entités et les relations du texte, ce qui est essentiel pour construire un graphe de connaissances de haute qualité.

Bien que l'utilisation d'un modèle local puisse réduire les coûts, le compromis est une baisse significative de la qualité des résultats. Les expériences de l'auteur ont montré que les résumés générés par le modèle Lama 3 ne sont pas aussi bons que ceux produits par le modèle GPT-4 utilisé dans la vidéo précédente.

Pour obtenir de meilleurs résultats avec Graph Rag, il est important d'utiliser un LLM plus important et plus capable, même si cela se traduit par un coût plus élevé. De plus, les invites utilisées pour interagir avec le LLM doivent être soigneusement conçues et adaptées au modèle spécifique utilisé, car différents LLM peuvent réagir différemment à la même invite.