I denna sektion kommer vi att utforska användningen av lokala språkmodeller (LLM) med Graph RAG (Retrieval-Augmented Generation)-ramverket. Även om användningen av en lokal modell kan ge vissa fördelar, finns det också betydande utmaningar att ta hänsyn till.

En av de främsta fördelarna med att använda en lokal LLM är de potentiella kostnadsinbesparingarna. Att komma åt en fjärrapi som OpenAI kan vara dyrt, särskilt för storskaliga tillämpningar. Genom att köra en lokal modell kan du undvika dessa API-kostnader och potentiellt minska de totala driftskostnaderna för ditt Graph RAG-system.

Men valet av LLM är avgörande när det gäller Graph RAG. Till skillnad från traditionella återvinningsförstärkta system, där inbäddningsmodellen spelar en viktigare roll, är LLM i Graph RAG ansvarig för att extrahera entiteter, känna igen relationer och generera sammanfattningar. En mindre eller mindre kapabel LLM, som Llama-38B-modellen som används i exemplet, kan ha svårt att utföra dessa uppgifter effektivt, vilket leder till suboptimala resultat.

Exemplet visar att prestandan hos Llama-38B-modellen inte är lika bra som GPT-4-modellen som användes i den föregående videon. Sammanfattningen som genereras av Llama-38B lyckas inte fånga bokens huvudtema lika noggrant som GPT-4-utdata. Detta belyser vikten av att använda en större och mer kapabel LLM för Graph RAG-tillämpningar.

För att hantera denna utmaning föreslår videon att man utforskar användningen av större modeller, som Llama-370B-modellen från Gro. Detta medför dock sina egna överväganden, som behovet av att hantera hastighetsbegränsningar och de potentiellt längre bearbetningstiderna som krävs för indexering och frågor.

Sammanfattningsvis, även om användningen av en lokal LLM kan ge kostnadsbesparingar, är valet av LLM avgörande för framgången för ett Graph RAG-system. Att noggrant utvärdera olika LLM:ers kapacitet och hitta rätt balans mellan prestanda och kostnad är avgörande för att implementera en effektiv Graph RAG-lösning.

För att konfigurera den lokala LLM-miljön för Graph Retrieval Augmented Generation (Graph RAG)-systemet, följ dessa steg:

1. Ladda ner och installera AMA: Först måste du ladda ner och installera AMA (Anthropic Model API) på din lokala dator. Detta gör att du kan använda en lokal språkmodell, som Llama 3-modellen, för din Graph RAG-applikation.

2. Välj LLM-modell: När du har AMA konfigurerat måste du välja vilken språkmodell du vill använda. I det här fallet kommer vi att använda Llama 3-modellen, men det rekommenderas att använda en större modell om din maskinvara kan hantera det, eftersom större modeller tenderar att prestera bättre med Graph RAG.

3. Konfigurera Graph RAG-inställningarna: Nästa steg är att uppdatera settings.yml-filen i ditt Graph RAG-projekt. Ställ in llm-sektionen för att använda AMA-API:et, ange API-nyckeln (som är "AMA" i det här fallet), modellnamnet (Llama 3) och bas-API-URL:en (http://localhost:11434/v1).

4. Kör den lokala indexeringen: För att skapa indexet för dina dokument, kör kommandot python dm_craft_rank.index. Detta kommer att bearbeta indatafiler i den angivna mappen och generera de nödvändiga inbäddningarna och indexfilerna.

5. Testa den lokala LLM med Graph RAG: När indexeringen är klar kan du testa den lokala LLM:en genom att köra kommandot python dm_graph_rag.query med prompten "vad är bokens huvudtema". Detta kommer att använda Llama 3-modellen för att generera ett svar baserat på den skapade grafen.

Tänk på att användningen av en lokal LLM, som Llama 3, kanske inte ger samma prestationsnivå som en större, molnbaserad modell som GPT-4. Valet av LLM är avgörande för Graph RAG, eftersom modellens förmåga att noggrant extrahera entiteter och relationer från texten är avgörande för att bygga en högkvalitativ kunskapsgraf. Om möjligt, överväg att använda en större LLM, som Llama 370 miljarder-modellen, som kan ge bättre resultat, men var medveten om de potentiella hastighetsbegränsningarna och de längre bearbetningstiderna när du använder ett fjärr-API som Gro.

För att använda en lokal modell med Graph RAG måste du först ladda ner och konfigurera AMA (Anthropic) -modellen på din lokala dator. I det här fallet kommer vi att använda Llama 3-modellen, men det rekommenderas att använda en större modell om din maskinvara kan hantera det.

Llama 3-modellen följer samma API-standard som OpenAI, vilket gör det enkelt att ersätta OpenAI API-servern med den nya AMA-slutpunkten. Standard-bas-URL:en för AMA-API:et är http://localhost:11434/v1 och API-nyckeln är helt enkelt "AMA".

Nästa steg är att uppdatera settings.yml-filen i ditt Graph RAG-projekt för att peka på den nya AMA-API-slutpunkten och modellen. Ställ in llm.api_key till "AMA", llm.model till "Llama 3" och llm.base_api till den lokala AMA-API-slutpunkten.

Om du använder Gro-API:et för att serva modellen måste du uppdatera llm.api_key till Gro-API-slutpunkten och llm.model till den större Llama 370 miljarder-modellen. Dessutom måste du ställa in llm.requests_per_minute till ett lägre värde (t.ex. 30) för att undvika tidsgränser.

Indexeringsprocessen kan ta lång tid, särskilt när du använder en större modell. På en M2 MacBook Pro med 96 GB RAM tog indexeringsprocessen cirka 27 minuter att slutföra 50-58% av uppgiften.

När indexeringen är klar kan du köra Graph RAG-frågan med samma prompt som i den föregående videon. Svaret från Llama 3-modellen kanske inte är lika bra som svaret från GPT-4-modellen, eftersom valet av språkmodell är mer kritiskt för Graph RAG jämfört med traditionella QA-system.

Anledningen till detta är att Graph RAG i hög grad förlitar sig på språkmodellens förmåga att noggrant extrahera entiteter och relationer från texten, vilket sedan används för att bygga kunskapsgrafen. En mindre språkmodell som Llama 3 kanske inte kan utföra den här uppgiften lika effektivt som en större modell som Llama 370 miljarder eller GPT-4.

För att förbättra resultaten kan du behöva experimentera med olika prompter som är anpassade till den specifika språkmodell du använder. Dessutom kan användningen av en större och mer kapabel språkmodell, som Llama 370 miljarder-modellen, avsevärt förbättra kvaliteten på Graph RAG-utdata.

Användningen av en lokal språkmodell som Llama 3 för Graph Rack-systemet kan vara utmanande jämfört med att använda en kraftfullare modell som GPT-4. De viktigaste orsakerna är:

1. Extrahering av entiteter och relationer: Kvaliteten på den kunskapsgraf som byggs upp av Graph Rack beror i hög grad på LLM:s förmåga att noggrant extrahera entiteter och deras relationer från ingångstexten. Mindre modeller som Llama 3 kan ha svårt med den här uppgiften, vilket leder till en sämre kunskapsgraf.

2. Sammanfattningsgenerering: Graph Rack förlitar sig på LLM för att generera sammanfattningar av de identifierade gemenskaperna inom kunskapsgrafen. En mer kapabel LLM som GPT-4 är bättre lämpad för den här uppgiften och producerar mer sammanhängande och informativa sammanfattningar.

3. Promptanpassning: Olika LLM:er reagerar olika på samma prompt. Att optimera prompterna för en mindre modell som Llama 3 kräver mer ansträngning och experimentering jämfört med att använda GPT-4, som har visat bättre få-skotts-prestanda.

Resultaten visar att användningen av en större, mer kraftfull LLM som Llama 370B-modellen från Cohere kan ge avsevärt bättre prestanda för Graph Rack-systemet jämfört med Llama 3-modellen. Detta kommer dock med ökade bearbetningstider och potentiella hastighetsbegränsningsproblem vid användning av Cohere-API:et.

Sammanfattningsvis är valet av LLM en avgörande faktor för framgången med Graph Rack-metoden, och användare bör noggrant överväga avvägningarna mellan modellstorlek, prestanda och kostnad när de väljer lämplig LLM för sitt användningsfall.

Promptanpassning är en avgörande aspekt när man arbetar med stora språkmodeller (LLM) i sammanhanget av grafsöknings- och förstärkta genereringssystem (graph-RAG). Valet av LLM är viktigare i graph-RAG jämfört med traditionella söksystem, eftersom LLM spelar en avgörande roll i att noggrant extrahera entiteter, känna igen relationer och generera sammanhängande sammanfattningar.

När man använder en mindre LLM som Lama-38B kan modellen ha svårt att noggrant extrahera entiteter och relationer från texten, vilket leder till skapandet av en undermålig kunskapsgraf. Detta resulterar i sin tur i suboptimala sammanfattningar och svar. I kontrast har större LLM:er som Lama-370B eller GPT-4 en större kapacitet att förstå textens nyanser och generera mer exakta och informativa utdata.

Men att helt enkelt använda en större LLM är inte en universallösning. Promptanpassning blir avgörande för att säkerställa att LLM:en ges lämplig kontext och instruktioner för att generera önskade svar. Prompter som fungerar bra för en LLM kanske inte är lika effektiva för en annan, eftersom olika modeller har unika styrkor och svagheter.

För att frigöra graph-RAG-systemens fulla potential är det avgörande att noggrant utforma prompter som är anpassade till den specifika LLM som används. Detta kan innebära att experimentera med olika promptformat, längder och stilar för att hitta den mest effektiva metoden för en given LLM och uppgift. Dessutom kan övervakning av modellens prestanda och iterativ förfining av prompterna leda till betydande förbättringar av systemets övergripande effektivitet.

Genom att investera tid och ansträngning i promptanpassning kan du maximera kapaciteten hos ditt graph-RAG-system och säkerställa att LLM:en kan utnyttja kunskapsgrafen för att generera högkvalitativa, kontextuellt relevanta svar.

I det här avsnittet kommer vi att utforska alternativa implementeringar av Graph RAG-ramverket och diskutera potentiella framtida inriktningar för den här metoden.

Medan den föregående videon demonstrerade användningen av en lokal Llama-modell med Graph RAG-systemet, belyste resultaten vikten av att välja en högkvalitativ språkmodell för optimal prestanda. Valet av språkmodell är en kritisk faktor i Graph RAG-metoden, eftersom den direkt påverkar entitetsextraktionen och identifieringen av relationer, vilket är avgörande för att bygga kunskapsgrafen.

En potentiell framtida inriktning är att utforska användningen av större och mer kraftfulla språkmodeller, som Llama 370 miljarder-modellen, som visade förbättrade resultat jämfört med den mindre Llama 38 miljarder-modellen. Användningen av dessa större modeller kan dock medföra ytterligare utmaningar, som ökade beräkningskrav och potentiella hastighetsbegränsningsproblem vid användning av externa API-tjänster som Gro.

Ett annat område för utforskning skulle kunna vara undersökningen av alternativa inbäddningsmodeller för att ersätta OpenAI-inbäddningsmodellen, som för närvarande saknar en standardiserad API över olika leverantörer. Utvecklingen av en mer flexibel och interoperabel inbäddningsmodellintegration skulle kunna förbättra den övergripande flexibiliteten och portabiliteten hos Graph RAG-systemet.

Dessutom bör vikten av promptanpassning för olika språkmodeller inte underskattas. Som nämndes i videon kanske samma prompt inte fungerar lika bra för olika språkmodeller, och anpassning av prompterna till de specifika styrkor och möjligheter hos varje modell skulle kunna leda till förbättrade prestanda.

Furthermore, att utforska alternativa implementeringar av Graph RAG-ramverket, såsom de som utvecklats av andra forskare eller organisationer, skulle kunna ge värdefulla insikter och möjligheter till ytterligare framsteg. Att jämföra och kontrastera olika metoder kan avslöja nya tekniker eller optimeringarna som kan införlivas i Graph RAG-systemet.

Sammanfattningsvis innefattar de framtida inriktningarna för att utforska alternativa Graph RAG-implementeringar:

1. Att undersöka användningen av större och mer kraftfulla språkmodeller, som Llama 370 miljarder-modellen, samtidigt som man hanterar de associerade utmaningarna.
2. Utveckla en mer flexibel och interoperabel inbäddningsmodellintegration för att ersätta den nuvarande OpenAI-baserade metoden.
3. Betona vikten av promptanpassning för olika språkmodeller för att optimera prestanda.
4. Utforska och jämföra alternativa implementeringar av Graph RAG-ramverket som utvecklats av andra forskare eller organisationer.

Genom att följa dessa utforskningsvä