In deze sectie zullen we de toepassing van lokale taalmodellen (LLMs) met het Graph RAG (Retrieval-Augmented Generation) framework verkennen. Hoewel het gebruik van een lokaal model enkele voordelen kan bieden, zijn er ook aanzienlijke uitdagingen om rekening mee te houden.

Eén van de belangrijkste voordelen van het gebruik van een lokaal LLM is de potentiële kostenbesparing. Het toegang krijgen tot een externe API zoals OpenAI kan duur zijn, vooral voor grootschalige toepassingen. Door een lokaal model te draaien, kunt u deze API-kosten vermijden en mogelijk de totale operationele kosten van uw Graph RAG-systeem verlagen.

De keuze van het LLM is echter cruciaal voor Graph RAG. In tegenstelling tot traditionele retrieval-ondersteunde systemen, waarbij het inbeddingsmodel een crucialere rol speelt, is het LLM in Graph RAG verantwoordelijk voor het extraheren van entiteiten, het herkennen van relaties en het genereren van samenvattingen. Een kleiner of minder capabel LLM, zoals het Llama-38B-model dat in het voorbeeld wordt gebruikt, kan moeite hebben om deze taken effectief uit te voeren, wat leidt tot suboptimale resultaten.

Het voorbeeld laat zien dat de prestaties van het Llama-38B-model niet zo goed zijn als die van het GPT-4-model dat in de vorige video werd gebruikt. De samenvatting die door Llama-38B wordt gegenereerd, slaagt er niet zo goed in om het hoofdthema van het boek vast te leggen als de output van GPT-4. Dit benadrukt het belang van het gebruik van een groter en capabeler LLM voor Graph RAG-toepassingen.

Om deze uitdaging aan te pakken, suggereert de video het gebruik van grotere modellen, zoals het Llama-370B-model van Gro. Dit brengt echter zijn eigen overwegingen met zich mee, zoals de noodzaak om limieten te beheren en de mogelijk langere verwerkingstijden die nodig zijn voor indexering en query's.

Voor het instellen van de lokale LLM-omgeving voor het Graph Retrieval Augmented Generation (Graph RAG)-systeem, volg deze stappen:

1. Download en installeer AMA: Eerst moet u de AMA (Anthropic Model API) downloaden en installeren op uw lokale machine. Hiermee kunt u een lokaal taalmodel, zoals het Llama 3-model, gebruiken voor uw Graph RAG-toepassing.

2. Kies het LLM-model: Zodra u AMA heeft ingesteld, moet u het taalmodel kiezen dat u wilt gebruiken. In dit geval gebruiken we het Llama 3-model, maar het wordt aanbevolen om een groter model te gebruiken als uw hardware dat ondersteunt, aangezien grotere modellen over het algemeen beter presteren met Graph RAG.

3. Configureer de Graph RAG-instellingen: Vervolgens moet u het settings.yml-bestand in uw Graph RAG-project bijwerken. Stel de llm-sectie in om de AMA-API te gebruiken, waarbij u de API-sleutel (in dit geval "AMA"), de modelnaam (Llama 3) en de basis-API-URL (http://localhost:11434/v1) opgeeft.

4. Voer de lokale indexering uit: Om de index voor uw documenten te maken, voert u de opdracht python dm_craft_rank.index uit. Hiermee worden de invoerbestanden in de opgegeven map verwerkt en worden de benodigde embeddings en indexbestanden gegenereerd.

5. Test de lokale LLM met Graph RAG: Zodra de indexering is voltooid, kunt u de lokale LLM testen door de opdracht python dm_graph_rag.query uit te voeren met de prompt "wat is het hoofdthema van het boek". Hiermee wordt het lokale Llama 3-model gebruikt om een antwoord te genereren op basis van de gemaakte graph.

Om een lokaal model te gebruiken met Graph RAG, moet u eerst de AMA (Anthropic) model downloaden en instellen op uw lokale machine. In dit geval gebruiken we het Llama 3-model, maar het wordt aanbevolen om een groter model te gebruiken als uw hardware dat ondersteunt.

Het Llama 3-model volgt dezelfde API-standaard als OpenAI, waardoor het gemakkelijk is om de OpenAI API-server te vervangen door het nieuwe AMA-eindpunt. De standaard basis-URL voor de AMA-API is http://localhost:11434/v1 en de API-sleutel is simpelweg "AMA".

Vervolgens moet u het settings.yml-bestand in uw Graph RAG-project bijwerken om te wijzen naar het nieuwe AMA-API-eindpunt en model. Stel de llm.api_key in op "AMA", de llm.model op "Llama 3" en de llm.base_api op het lokale AMA-API-eindpunt.

Als u de Gro-API gebruikt om het model te leveren, moet u de llm.api_key bijwerken naar het Gro-API-eindpunt en de llm.model naar het grotere Llama 370 miljard model. Daarnaast moet u de llm.requests_per_minute instellen op een lagere waarde (bijv. 30) om time-outs te voorkomen.

Het indexeringsproces kan aanzienlijke tijd in beslag nemen, vooral bij het gebruik van een groter model. Op een M2 MacBook Pro met 96GB RAM duurde het indexeringsproces ongeveer 27 minuten om 50-58% van de taak te voltooien.

Zodra de indexering is voltooid, kunt u de Graph RAG-query uitvoeren met dezelfde prompt als in de vorige video. De reactie van het Llama 3-model is mogelijk niet zo goed als de reactie van het GPT-4-model, aangezien de keuze van het taalmodel kritischer is voor Graph RAG in vergelijking met traditionele QA-systemen.

Het gebruik van een lokaal taalmodel zoals Llama 3 voor het Graph Rack-systeem kan uitdagender zijn in vergelijking met het gebruik van een krachtiger model zoals GPT-4. De belangrijkste redenen zijn:

1. Entiteit- en relatieëxtractie: De kwaliteit van de kennisgraaf die door Graph Rack wordt opgebouwd, hangt sterk af van het vermogen van het LLM om entiteiten en hun relaties nauwkeurig te extraheren uit de invoertekst. Kleinere modellen zoals Llama 3 kunnen moeite hebben met deze taak, wat leidt tot een inferieure kennisgraaf.

2. Samenvatting genereren: Graph Rack vertrouwt op het LLM om samenvattingen te genereren van de geïdentificeerde gemeenschappen binnen de kennisgraaf. Een capabeler LLM zoals GPT-4 is beter geschikt voor deze taak en produceert coherentere en informatievere samenvattingen.

3. Prompt engineering: Verschillende LLMs reageren verschillend op dezelfde prompt. Het optimaliseren van de prompts voor een kleiner model zoals Llama 3 vereist meer inspanning en experimenteren in vergelijking met het gebruik van GPT-4, dat een betere few-shot-prestatie heeft getoond.

Prompt engineering is een cruciaal aspect bij het werken met grote taalmodellen (LLMs) in de context van op grafen gebaseerde retrieval- en verrijkte generatie (graph-RAG) systemen. De keuze van het LLM is in graph-RAG belangrijker dan in traditionele retrievalsystemen, aangezien het LLM een centrale rol speelt bij het nauwkeurig extraheren van entiteiten, het herkennen van relaties en het genereren van coherente samenvattingen.

Wanneer een kleiner LLM zoals Lama-38B wordt gebruikt, kan het model moeite hebben met het nauwkeurig extraheren van entiteiten en relaties uit de tekst, wat leidt tot de creatie van een inferieure kennisgraaf. Dit resulteert op zijn beurt in suboptimale samenvattingen en antwoorden. Daarentegen hebben grotere LLMs zoals Lama-370B of GPT-4 een groter vermogen om de nuances van de tekst te begrijpen en meer accurate en informatieve outputs te genereren.

Het gebruik van een groter LLM is echter geen wondermiddel. Prompt engineering wordt cruciaal om ervoor te zorgen dat het LLM de juiste context en instructies krijgt om de gewenste antwoorden te genereren. Prompts die goed werken voor het ene LLM, zijn mogelijk minder effectief voor het andere, aangezien verschillende modellen unieke sterke en zwakke punten hebben.

In deze sectie zullen we alternatieve implementaties van het Graph RAG-framework verkennen en mogelijke toekomstige richtingen voor deze benadering bespreken.

Hoewel de vorige video het gebruik van een lokaal Llama-model met het Graph RAG-systeem demonstreerde, benadrukten de resultaten het belang van het selecteren van een hoogwaardig taalmodel voor optimale prestaties. De keuze van het taalmodel is een cruciale factor in de Graph RAG-benadering, aangezien het rechtstreeks van invloed is op de entiteitextractie en relatie-identificatie, die essentieel zijn voor het bouwen van de kennisgraaf.

Eén mogelijke toekomstige richting is het verkennen van het gebruik van grotere en krachtigere taalmodellen, zoals het Llama 370 miljard model, dat verbeterde resultaten liet zien in vergelijking met het kleinere Llama 38 miljard model. Het gebruik van deze grotere modellen kan echter met extra uitdagingen gepaard gaan, zoals verhoogde rekenkracht en mogelijke limieten op het aantal aanvragen bij het gebruik van externe API-diensten zoals Gro.

Een ander onderzoeksgebied zou de verkenning van alternatieve inbeddingsmodellen kunnen zijn om het OpenAI-inbeddingsmodel te vervangen, dat momenteel geen gestandaardiseerde API heeft tussen verschillende providers. Het ontwikkelen van een flexibeler en interoperabeler inbeddingsmodel-integratie zou de algehele flexibiliteit en overdraagbaarheid van het Graph RAG-systeem kunnen verbeteren.

Het gebruik van lokale modellen zoals Lama 3 met Graph Rag wordt niet aanbevolen, aangezien de keuze van het taalmodel (LLM) een cruciale rol speelt in de prestaties van het Graph Rag-systeem. Grotere en capabelere LLMs, zoals het Lama 370 miljard model, zijn noodzakelijk om entiteiten en relaties nauwkeurig te extraheren uit de tekst, wat essentieel is voor het bouwen van een hoogwaardige kennisgraaf.

Hoewel het gebruik van een lokaal model de kosten kan verlagen, is de tegenprestatie een aanzienlijke afname in de kwaliteit van de resultaten. De experimenten van de auteur hebben laten zien dat de samenvattingen die door het Lama 3-model worden gegenereerd, niet zo goed zijn als die geproduceerd door het GPT-4-model dat in de vorige video werd gebruikt.

Om betere resultaten te bereiken met Graph Rag, is het belangrijk om een groter en capabeler LLM te gebruiken, ook al brengt dat hogere kosten met zich mee. Daarnaast moeten de prompts die worden gebruikt om met het LLM te communiceren, zorgvuldig worden opgesteld en afgestemd op het specifieke model dat wordt gebruikt, aangezien verschillende LLMs verschillend kunnen reageren op dezelfde prompt.