Graph RAG è un sistema rivoluzionario che combina i grafi della conoscenza con la Retrieval Augmented Generation (RAG) per affrontare i limiti degli approcci RAG tradizionali. Sfruttando i grafi della conoscenza, Graph RAG fornisce una comprensione più olistica del corpus sottostante, consentendo risposte più accurate e contestualmente rilevanti.

Gli aspetti chiave di Graph RAG includono:

1. Fase di indicizzazione: Durante questa fase, i documenti di origine vengono elaborati e le entità vengono estratte e utilizzate per creare un grafo della conoscenza. Il grafo della conoscenza rappresenta le relazioni tra le diverse entità, che vengono quindi utilizzate per creare sintesi a vari livelli di granularità.

2. Fase di query: Quando viene fornita una query dell'utente, Graph RAG seleziona il livello appropriato di comunità (sintesi) in base alla query e recupera le informazioni pertinenti. Le risposte da più comunità vengono quindi combinate per generare la risposta finale.

Questo approccio affronta i limiti del RAG tradizionale, come la limitata comprensione contestuale e i problemi di scalabilità. Incorporando i grafi della conoscenza, Graph RAG può fornire una comprensione più completa dei dati sottostanti, portando a risposte più accurate e coerenti.

Uno dei principali vantaggi di Graph RAG è la sua capacità di gestire query complesse che richiedono una comprensione più approfondita delle relazioni tra le entità. Ciò lo rende particolarmente utile per applicazioni che coinvolgono domande e risposte, sintesi o attività incentrate sulla conoscenza.

Tuttavia, è importante notare che il costo di esecuzione di Graph RAG può essere più elevato rispetto ai sistemi RAG tradizionali, in quanto comporta passaggi di elaborazione aggiuntivi, come l'estrazione di entità e la creazione di grafi della conoscenza. Questo fattore di costo dovrebbe essere attentamente considerato quando si decide di implementare Graph RAG nelle proprie applicazioni.

Complessivamente, Graph RAG rappresenta un importante passo avanti nel campo della Retrieval Augmented Generation e il suo potenziale per migliorare le prestazioni dei modelli linguistici in varie applicazioni vale la pena di essere esplorato.

La Retrieval Augmented Generation (RAG) tradizionale è un metodo in cui il modello linguistico recupera documenti rilevanti da un ampio corpus per generare risposte più accurate e contestualmente pertinenti. Questo approccio prevede tre passaggi principali:

1. Elaborazione e incorporamento dei documenti: I documenti originali vengono suddivisi in porzioni più piccole utilizzando una strategia di suddivisione. Vengono quindi calcolati gli incorporamenti per ogni porzione e memorizzati in un archivio vettoriale, che diventa la base di conoscenza.

2. Fase di query: Quando un utente pone una domanda, vengono calcolati gli incorporamenti per la query e viene eseguita una ricerca di similarità sull'archivio vettoriale per recuperare i brani o i sotto-documenti più rilevanti.

3. Generazione della risposta: Il contesto recuperato viene combinato con la query originale e inserito in un grande modello linguistico per generare la risposta finale.

Tuttavia, questo approccio RAG tradizionale presenta diverse limitazioni:

1. Comprensione contestuale limitata: RAG può a volte perdere le sfumature dei dati a causa della sua dipendenza dai soli documenti recuperati. Non ha una panoramica olistica del documento, quindi non ne comprende appieno il quadro generale.

2. Problemi di scalabilità: man mano che il corpus cresce, il processo di recupero può diventare meno efficiente.

3. Complessità nell'integrare fonti di conoscenza esterne: l'integrazione di fonti di conoscenza esterne in modo significativo può essere complessa e onerosa.

Per affrontare queste limitazioni, Microsoft ha introdotto GraphRAG, un sistema che combina i grafi della conoscenza con la Retrieval Augmented Generation. Nella prossima sezione approfondiremo i dettagli tecnici del funzionamento di GraphRAG.

Graph RAG è un approccio innovativo che combina i grafi della conoscenza con la Retrieval Augmented Generation (RAG) per affrontare i limiti dei sistemi RAG tradizionali. I passaggi chiave coinvolti nel processo di Graph RAG sono i seguenti:

1. Fase di indicizzazione:

   • I documenti di origine vengono suddivisi in sotto-documenti più piccoli.
   • All'interno di ogni porzione, vengono identificate le entità (come persone, luoghi, aziende) e vengono estratte le relazioni tra queste entità.
   • Queste informazioni vengono utilizzate per creare un grafo della conoscenza, in cui le entità sono rappresentate come nodi e le relazioni tra di loro sono rappresentate come archi.
   • Il grafo della conoscenza viene quindi utilizzato per rilevare le comunità, che sono gruppi di entità strettamente correlate.
   • Vengono create sintesi per ogni comunità a diversi livelli di dettaglio, dal globale (alto livello) al locale (più granulare).

2. Fase di query:

   • Quando viene ricevuta una query dell'utente, viene selezionato il livello di comunità appropriato (globale, intermedio o locale) in base al livello di dettaglio richiesto.
   • Vengono recuperate le sintesi per le comunità pertinenti e queste risposte parziali vengono combinate per generare la risposta finale.

Questo approccio offre diversi vantaggi rispetto ai sistemi RAG tradizionali:

• Migliorata comprensione contestuale: sfruttando il grafo della conoscenza e le sintesi a livello di comunità, Graph RAG può catturare meglio il contesto generale e le sfumature dei documenti di origine, anziché affidarsi solo ai documenti recuperati.
• Scalabilità migliorata: man mano che il corpus cresce, le sintesi a livello di comunità possono contribuire a mantenere un recupero e una generazione di risposte efficienti, mitigando i problemi di scalabilità del RAG tradizionale.
• Integrazione semplificata: l'approccio basato sul grafo della conoscenza fornisce un modo più strutturato e significativo per integrare fonti di conoscenza esterne, rendendo il processo meno complesso e oneroso.

Tuttavia, l'approccio Graph RAG comporta anche un potenziale svantaggio: il costo associato all'esecuzione del sistema. La fase di indicizzazione, che comporta l'estrazione di entità, l'identificazione delle relazioni e la sintesi delle comunità, può essere computazionalmente intensiva e comportare costi significativi, soprattutto quando si utilizzano modelli linguistici di grandi dimensioni come GPT-4.

Nell'esempio fornito, il costo di esecuzione di Graph RAG su un singolo libro (Canto di Natale) è stato di circa 7 dollari, il che potrebbe essere proibitivamente costoso per corpora più ampi. Questo fattore di costo è qualcosa da considerare quando si decide se utilizzare Graph RAG o un sistema RAG tradizionale nella propria applicazione.

Complessivamente, Graph RAG rappresenta un approccio innovativo per affrontare i limiti dei sistemi RAG tradizionali, ma le implicazioni di costo devono essere attentamente valutate in base ai requisiti specifici e alla scala del proprio progetto.

Per impostare Graph RAG sul tuo computer locale, segui questi passaggi:

1. Crea un ambiente virtuale Conda:

   conda create -n graphrag python=3.9
   conda activate graphrag
   

2. Installa il pacchetto Graph RAG:

   pip install graphrag
   

3. Crea una directory per i tuoi dati di test:

   mkdir -p rag_test/input
   

4. Scarica un set di dati di esempio, come il testo di "Canto di Natale" di Charles Dickens:

   python -m graphrag.index --root_dir rag_test/input --download_sample_data
   

5. Imposta le variabili di lavoro e le configurazioni:

   python -m graphrag.index --root_dir rag_test/input --init_config
   

   Questo creerà un file settings.yml in cui puoi configurare la tua chiave API, il modello e altre impostazioni.

6. Esegui il processo di indicizzazione per creare il grafo della conoscenza:

   python -m graphrag.index --root_dir rag_test/input
   

   Questo passaggio potrebbe richiedere del tempo, in quanto comporta l'estrazione di entità, l'identificazione delle relazioni e la sintesi delle comunità.

7. Esegui query di esempio:

   python -m graphrag.query --root_dir rag_test --method global --prompt "Quali sono i temi principali di questa storia?"
   python -m graphrag.query --root_dir rag_test --method local --prompt "Qual è la relazione tra Scrooge e Bob Cratchit?"
   

   Il metodo global recupera informazioni al livello più alto, mentre il metodo local si concentra su entità specifiche e sulle loro relazioni.

8. Analizza le implicazioni di costo: Il processo di indicizzazione può essere costoso, soprattutto quando si utilizzano modelli linguistici di grandi dimensioni come GPT-4. L'esempio fornito nella trascrizione mostra che l'elaborazione di un singolo libro può costare circa 7 dollari. Considera le implicazioni di costo quando applichi Graph RAG a set di dati più ampi.

Questo è il processo di base per eseguire Graph RAG sul tuo computer locale. Ricorda di personalizzare le configurazioni e le query per adattarle al tuo caso d'uso specifico.

Nell'esempio fornito, le implicazioni di costo dell'utilizzo di Graph RAG erano significative. Il costo totale per l'elaborazione del libro e la creazione di Graph RAG è risultato essere di circa 7 dollari, il che potrebbe essere proibitivamente costoso per grandi corpora di dati.

I fattori chiave che hanno contribuito all'alto costo erano:

1. Richieste API: L'approccio Graph RAG ha effettuato un totale di 570 richieste tramite l'API, principalmente per il modello GPT-4. In confronto, l'approccio RAG tradizionale avrebbe probabilmente un numero inferiore di richieste API.

2. Elaborazione dei token: Il processo Graph RAG ha comportato l'elaborazione di oltre 1 milione di token, che ha contribuito al costo complessivo.

In confronto, un sistema RAG tradizionale avrebbe probabilmente un costo inferiore, in quanto non richiede i passaggi aggiuntivi di estrazione di entità, identificazione delle relazioni e sintesi delle comunità che fanno parte dell'approccio Graph RAG.

È importante considerare i compromessi tra la migliore comprensione contestuale e la panoramica olistica fornita da Graph RAG e il costo più elevato associato alla sua implementazione. A seconda del caso d'uso specifico e del budget disponibile, un approccio potrebbe essere più adatto dell'altro.

Se si lavora con un ampio corpus di dati, le implicazioni di costo di Graph RAG dovrebbero essere attentamente valutate. In tali casi, un sistema RAG tradizionale potrebbe essere una soluzione più conveniente, soprattutto se la migliore comprensione contestuale fornita da Graph RAG non è un requisito fondamentale.

In definitiva, la scelta tra Graph RAG e RAG tradizionale dipenderà dalle esigenze specifiche del progetto, dalle risorse disponibili e dall'equilibrio tra prestazioni e costo.

Mentre il GraphRAG di Microsoft è un sistema rivoluzionario, non è l'unica implementazione dell'approccio Graph RAG. Ci sono altre soluzioni notevoli che vale la pena esplorare:

Motore di query Graph RAG di Lama Index

Lama Index, una popolare piattaforma open-source di gestione della conoscenza, ha sviluppato la sua implementazione di un motore di query Graph RAG. Questa soluzione sfrutta il potere dei grafi della conoscenza per migliorare le capacità di recupero e generazione dei grandi modelli linguistici.

L'approccio di Lama Index si concentra sulla costruzione di un grafo della conoscenza completo a partire da varie fonti di dati, inclusi dati strutturati e non strutturati. Questo grafo della conoscenza viene quindi utilizzato per alimentare il sistema RAG, fornendo una comprensione più olistica delle informazioni sottostanti.

Pacchetto Graph RAG di Neo4j

Neo4j, un fornitore leader di database di grafi, ha anche introdotto un pacchetto Graph RAG. Questa soluzione integra le capacità del database di grafi Neo4j con la tecnica di Retrieval Augmented Generation (RAG).

Utilizzando la traversata efficiente dei grafi e le capacità di query di Neo4j, il pacchetto Graph RAG mira ad affrontare i limiti di scalabilità e comprensione contestuale dei sistemi RAG tradizionali. Questo approccio consente un recupero più efficace delle informazioni pertinenti dal grafo della conoscenza, portando a risposte più accurate e coerenti.

Confronto delle implementazioni

Sebbene i principi fondamentali di Graph RAG siano condivisi tra queste soluzioni, ogni implementazione può avere caratteristiche, punti di forza e compromessi unici. Fattori come prestazioni, facilità di integrazione, supporto per diversi modelli linguistici e implicazioni di costo possono variare tra le diverse soluzioni Graph RAG.

Se ci fosse interesse, potrei approfondire un'analisi comparativa di queste implementazioni di Graph RAG, evidenziando le loro principali differenze e aiutandoti a determinare la migliore soluzione per il tuo caso d'uso specifico.

Graph RAG funziona bene, ma c'è stato un problema importante ed è il costo. Per l'esempio fornito, sono state inviate un totale di 570 richieste attraverso l'API utilizzando GPT-4 e sono stati elaborati oltre 1 milione di token, con un costo di circa 7 dollari. Questo costo potrebbe essere proibitivamente elevato per un ampio corpus di dati ed è sostanzialmente più costoso rispetto alla costruzione di un sistema RAG tradizionale.

Nonostante le implicazioni di costo, Graph RAG è un approccio innovativo che combina i grafi della conoscenza con la Retrieval Augmented Generation (RAG). Affronta alcuni dei limiti dei sistemi RAG tradizionali, come la limitata comprensione contestuale e i problemi di scalabilità.

Microsoft non è l'unica a