In diesem Abschnitt werden wir die Verwendung lokaler Sprachmodelle (LLMs) mit dem Graph RAG (Retrieval-Augmented Generation)-Framework untersuchen. Während die Verwendung eines lokalen Modells einige Vorteile bieten kann, gibt es auch erhebliche Herausforderungen zu berücksichtigen.

Einer der Hauptvorteile der Verwendung eines lokalen LLMs ist das mögliche Einsparen von Kosten. Der Zugriff auf eine Remote-API wie OpenAI kann teuer sein, insbesondere für großangelegte Anwendungen. Durch den Betrieb eines lokalen Modells können Sie diese API-Kosten vermeiden und die Gesamtbetriebskosten Ihres Graph RAG-Systems möglicherweise reduzieren.

Die Wahl des LLMs ist jedoch entscheidend, wenn es um Graph RAG geht. Im Gegensatz zu herkömmlichen Retrieval-Augmented-Systemen, bei denen das Embedding-Modell eine wichtigere Rolle spielt, ist das LLM in Graph RAG für die Extraktion von Entitäten, die Erkennung von Beziehungen und die Generierung von Zusammenfassungen verantwortlich. Ein kleineres oder weniger leistungsfähiges LLM, wie das in diesem Beispiel verwendete Llama-38B-Modell, könnte Schwierigkeiten haben, diese Aufgaben effektiv auszuführen, was zu suboptimalen Ergebnissen führen kann.

Das Beispiel zeigt, dass die Leistung des Llama-38B-Modells nicht so gut ist wie die des in dem vorherigen Video verwendeten GPT-4-Modells. Die von Llama-38B generierte Zusammenfassung erfasst das Hauptthema des Buches nicht so genau wie die GPT-4-Ausgabe. Dies unterstreicht die Bedeutung der Verwendung eines größeren und leistungsfähigeren LLMs für Graph RAG-Anwendungen.

Um diese Herausforderung anzugehen, schlägt das Video die Verwendung größerer Modelle wie des Llama-370B-Modells von Gro vor. Dies bringt jedoch seine eigenen Überlegungen mit sich, wie z.B. die Notwendigkeit, Ratenbegrenzungen zu verwalten und möglicherweise längere Verarbeitungszeiten für das Indizieren und Abfragen in Kauf zu nehmen.

Zusammenfassend lässt sich sagen, dass die Verwendung eines lokalen LLMs zwar Kosteneinsparungen bringen kann, die Wahl des LLMs jedoch entscheidend für den Erfolg eines Graph RAG-Systems ist. Eine sorgfältige Bewertung der Fähigkeiten verschiedener LLMs und das Finden des richtigen Gleichgewichts zwischen Leistung und Kosten sind für die Bereitstellung einer effektiven Graph RAG-Lösung unerlässlich.

Um die lokale LLM-Umgebung für das Graph Retrieval Augmented Generation (Graph RAG)-System einzurichten, führen Sie bitte diese Schritte aus:

1. Download und Installation von AMA: Zunächst müssen Sie die AMA (Anthropic Model API) auf Ihrem lokalen Rechner herunterladen und installieren. Dies ermöglicht Ihnen die Verwendung eines lokalen Sprachmodells, wie z.B. des Llama 3-Modells, für Ihre Graph RAG-Anwendung.

2. Wahl des LLM-Modells: Sobald Sie AMA eingerichtet haben, müssen Sie das Sprachmodell auswählen, das Sie verwenden möchten. In diesem Fall werden wir das Llama 3-Modell verwenden, aber es wird empfohlen, ein größeres Modell zu verwenden, wenn Ihre Hardware es unterstützt, da größere Modelle tendenziell besser für Graph RAG geeignet sind.

3. Konfiguration der Graph RAG-Einstellungen: Als Nächstes müssen Sie die settings.yml-Datei in Ihrem Graph RAG-Projekt aktualisieren. Legen Sie den llm-Abschnitt so fest, dass die AMA-API verwendet wird, und geben Sie den API-Schlüssel (in diesem Fall "AMA"), den Modellnamen (Llama 3) und die Basis-API-URL (http://localhost:11434/v1) an.

4. Ausführung des lokalen Indexierens: Um den Index für Ihre Dokumente zu erstellen, führen Sie den Befehl python dm_craft_rank.index aus. Dadurch werden die Eingabedateien im angegebenen Ordner verarbeitet und die erforderlichen Embeddings und Indexdateien generiert.

5. Test des lokalen LLM mit Graph RAG: Sobald die Indizierung abgeschlossen ist, können Sie den lokalen LLM testen, indem Sie den Befehl python dm_graph_rag.query mit der Eingabe "what is the main theme of the book" ausführen. Dadurch wird das lokale Llama 3-Modell verwendet, um eine Antwort auf Basis des erstellten Graphen zu generieren.

Beachten Sie, dass die Verwendung eines lokalen LLM, wie z.B. Llama 3, möglicherweise nicht die gleiche Leistung wie ein größeres, cloudbasiertes Modell wie GPT-4 bietet. Die Wahl des LLM ist entscheidend für Graph RAG, da die Fähigkeit des Modells, Entitäten und Beziehungen aus dem Text genau zu extrahieren, entscheidend für den Aufbau eines hochwertigen Wissensgraphen ist. Wenn möglich, erwägen Sie die Verwendung eines größeren LLM, wie des Llama 370 Milliarden-Modells, das möglicherweise bessere Ergebnisse liefert, aber seien Sie sich der möglichen Ratenbegrenzungen und längeren Verarbeitungszeiten bei der Verwendung einer Remote-API wie Gro bewusst.

Um ein lokales Modell mit Graph RAG zu verwenden, müssen Sie zunächst das AMA (Anthropic)-Modell auf Ihrem lokalen Rechner herunterladen und einrichten. In diesem Fall werden wir das Llama 3-Modell verwenden, aber es wird empfohlen, ein größeres Modell zu verwenden, wenn Ihre Hardware es unterstützt.

Das Llama 3-Modell folgt dem gleichen API-Standard wie OpenAI, was es einfach macht, den OpenAI-API-Server durch den neuen AMA-Endpunkt zu ersetzen. Die Standard-Basis-URL für die AMA-API ist http://localhost:11434/v1, und der API-Schlüssel ist einfach "AMA".

Als Nächstes müssen Sie die settings.yml-Datei in Ihrem Graph RAG-Projekt aktualisieren, um auf den neuen AMA-API-Endpunkt und das Modell zu verweisen. Setzen Sie llm.api_key auf "AMA", llm.model auf "Llama 3" und llm.base_api auf den lokalen AMA-API-Endpunkt.

Wenn Sie die Gro-API verwenden, um das Modell bereitzustellen, müssen Sie llm.api_key auf den Gro-API-Endpunkt und llm.model auf das größere Llama 370 Milliarden-Modell aktualisieren. Außerdem müssen Sie llm.requests_per_minute auf einen niedrigeren Wert (z.B. 30) setzen, um Timeouts zu vermeiden.

Der Indexierungsprozess kann sehr lange dauern, insbesondere bei Verwendung eines größeren Modells. Auf einem M2 MacBook Pro mit 96 GB RAM dauerte der Indexierungsprozess etwa 27 Minuten, um 50-58% der Aufgabe abzuschließen.

Sobald die Indizierung abgeschlossen ist, können Sie die Graph RAG-Abfrage mit der gleichen Eingabe wie im vorherigen Video ausführen. Die Antwort des Llama 3-Modells ist möglicherweise nicht so gut wie die Antwort des GPT-4-Modells, da die Wahl des Sprachmodells für Graph RAG kritischer ist als für herkömmliche Frage-Antwort-Systeme.

Der Grund dafür ist, dass Graph RAG stark von der Fähigkeit des Sprachmodells abhängt, Entitäten und Beziehungen aus dem Text genau zu extrahieren, die dann zum Aufbau des Wissensgraphen verwendet werden. Ein kleineres Sprachmodell wie Llama 3 ist möglicherweise nicht in der Lage, diese Aufgabe so effektiv auszuführen wie ein größeres Modell wie Llama 370 Milliarden oder GPT-4.

Um die Ergebnisse zu verbessern, müssen Sie möglicherweise mit verschiedenen Eingabeaufforderungen experimentieren, die auf das spezifische Sprachmodell abgestimmt sind. Darüber hinaus kann die Verwendung eines größeren und leistungsfähigeren Sprachmodells wie des Llama 370 Milliarden-Modells die Qualität der Graph RAG-Ausgabe deutlich verbessern.

Die Verwendung eines lokalen Sprachmodells wie Llama 3 für das Graph Rack-System kann im Vergleich zur Verwendung eines leistungsfähigeren Modells wie GPT-4 eine Herausforderung darstellen. Die Hauptgründe dafür sind:

1. Entitäts- und Beziehungsextraktion: Die Qualität des von Graph Rack erstellten Wissensgraphen hängt stark von der Fähigkeit des LLM ab, Entitäten und ihre Beziehungen aus dem Eingabetext genau zu extrahieren. Kleinere Modelle wie Llama 3 könnten bei dieser Aufgabe Schwierigkeiten haben, was zu einem minderwertigen Wissensgraphen führt.

2. Zusammenfassungsgenerierung: Graph Rack verlässt sich darauf, dass das LLM Zusammenfassungen der identifizierten Gemeinschaften innerhalb des Wissensgraphen generiert. Ein leistungsfähigeres LLM wie GPT-4 ist für diese Aufgabe besser geeignet und produziert kohärentere und informativere Zusammenfassungen.

3. Prompt-Engineering: Verschiedene LLMs reagieren unterschiedlich auf die gleiche Eingabeaufforderung. Die Optimierung der Eingabeaufforderungen für ein kleineres Modell wie Llama 3 erfordert mehr Aufwand und Experimente im Vergleich zur Verwendung von GPT-4, das eine bessere Few-Shot-Leistung gezeigt hat.

Die Ergebnisse zeigen, dass die Verwendung eines größeren, leistungsfähigeren LLM wie des Llama 370B-Modells von Cohere deutlich bessere Leistung für das Graph Rack-System im Vergleich zum Llama 3-Modell bieten kann. Dies geht jedoch mit erhöhten Verarbeitungszeiten und möglichen Ratenbegrenzungsproblemen bei der Verwendung der Cohere-API einher.

Insgesamt ist die Wahl des LLM ein entscheidender Faktor für den Erfolg des Graph Rack-Ansatzes, und Anwender sollten sorgfältig die Abwägungen zwischen Modellgröße, Leistung und Kosten berücksichtigen, wenn sie das geeignete LLM für ihren Anwendungsfall auswählen.

Prompt-Engineering ist ein entscheidender Aspekt bei der Arbeit mit großen Sprachmodellen (LLMs) im Kontext von graphbasierten Retrieval- und Augmented-Generation-Systemen (Graph-RAG). Die Wahl des LLM ist in Graph-RAG kritischer als in herkömmlichen Retrievalsystemen, da das LLM eine zentrale Rolle bei der genauen Extraktion von Entitäten, der Erkennung von Beziehungen und der Generierung kohärenter Zusammenfassungen spielt.

Wenn ein kleineres LLM wie Lama-38B verwendet wird, kann das Modell Schwierigkeiten haben, Entitäten und Beziehungen aus dem Text genau zu extrahieren, was zur Erstellung eines minderwertigen Wissensgraphen führt. Dies wiederum führt zu suboptimalen Zusammenfassungen und Antworten. Im Gegensatz dazu haben größere LLMs wie Lama-370B oder GPT-4 eine größere Kapazität, die Nuancen des Texts zu verstehen und genauere und informativere Ausgaben zu generieren.

Die Verwendung eines größeren LLM ist jedoch nicht die Lösung aller Probleme. Prompt-Engineering wird entscheidend, um sicherzustellen, dass dem LLM der richtige Kontext und die richtigen Anweisungen gegeben werden, um die gewünschten Antworten zu generieren. Eingabeaufforderungen, die für ein LLM gut funktionieren, sind möglicherweise nicht so effektiv für ein anderes, da verschiedene Modelle einzigartige Stärken und Schwächen haben.

Um das volle Potenzial von Graph-RAG-Systemen auszuschöpfen, ist es unerlässlich, Eingabeaufforderungen sorgfältig zu gestalten, die auf das spezifische LLM abgestimmt sind. Dies kann das Experimentieren mit verschiedenen Eingabeaufforderungsformaten, -längen und -stilen beinhalten, um den effektivsten Ansatz für ein bestimmtes LLM und eine bestimmte Aufgabe zu finden. Darüber hinaus kann die Überwachung der Modellleistung und das iterative Verfeinern der Eingabeaufforderungen zu erheblichen Verbesserungen der Gesamteffektivität des Systems führen.

Indem Sie Zeit und Mühe in das Prompt-Engineering investieren, können Sie die Fähigkeiten Ihres Graph-RAG-Systems maximieren und sicherstellen, dass das LLM in der Lage ist, den Wissensgraphen zu nutzen, um hochwertige, kontextrelevante Antworten zu generieren.

In diesem Abschnitt werden wir alternative Implementierungen des Graph RAG-Frameworks untersuchen und mögliche zukünftige Richtungen für diesen Ansatz diskutieren.

Während das vorherige Video die Verwendung eines lokalen Llama-Modells mit dem Graph RAG-System zeigte, hoben die Ergebnisse die Bedeutung der Auswahl eines hochwertigen Sprachmodells für eine optimale Leistung hervor. Die Wahl des Sprachmodells ist ein entscheidender Faktor im Graph RAG-Ansatz, da sie sich direkt auf die Entitätsextraktion und Beziehungserkennung auswirkt, die für den Aufbau des Wissensg