RAG (Retrieval Augmented Generation) היא גישה המשמשת לשיפור של דגמי שפה גדולים קיימים על ידי שילוב של ידע חיצוני. הרעיון המרכזי מאחורי RAG הוא לשלב את הכוח של דגמי שפה גדולים עם היכולת לאחזר ולנצל מידע רלוונטי ממקורות חיצוניים, כמו בסיסי ידע או קורפוסים טקסטואליים.

היתרונות העיקריים של גישת RAG הם:

1. שיפור הרלוונטיות: על ידי אחזור והטמעה של מידע רלוונטי, RAG יכול לספק תגובות מדויקות ורלוונטיות יותר, בעיקר לשאלות הדורשות ידע ספציפי.

2. הפחתת הזיות: נמצא שRAG מפחית את הנטייה של דגמי שפה גדולים ליצור תוכן מזויף או עובדתית שגוי, מכיוון שהתגובות מעוגנות במידע שנאחזר.

3. גמישות: בנוסף לענייני שאלות ותשובות, RAG ניתן ליישום למגוון משימות עיבוד שפה טבעית כמו חילוץ מידע, המלצות, ניתוח רגשות וסיכום.

4. טיפול בנתונים פרטיים: RAG יכול לעבוד עם מערכות נתונים פרטיות או רגישות, מכיוון שהמידע מעובד ומאוחסן באופן מקומי, ללא הצורך לשתף את הנתונים עם שירותים חיצוניים.

GraphRAG מהווה התקדמות משמעותית מעבר למערכות RAG (Retrieval Augmented Generation) המסורתיות. להלן ההבדלים:

1. חילוץ גרף ידע: בשונה מאחזור טקסט פשוט, GraphRAG משלב חילוץ טקסט עם ניתוח רשת ופרומפטינג של דגם שפה כדי לבנות גרף ידע מקיף מהנתונים הנתונים. זה מאפשר הבנה עמוקה ומקיפה יותר של התוכן.

2. שיפור בדיוק ורלוונטיות: על ידי ניצול גרף הידע, GraphRAG יכול לספק תגובות מדויקות ורלוונטיות יותר, בעיקר עבור מערכות נתונים מורכבות או ייעודיות. הגישה המבוססת על גרף עוזרת לקשר בין חלקי מידע שונים ולסנתז תובנות שעולות על טכניקות RAG בסיסיות.

3. הבנה מקיפה של הנתונים: GraphRAG מאמץ גישה מקיפה יותר, משפרת את ההבנה והסיכום הכולל של אוספי נתונים גדולים. זה הופך אותו לבחירה עדיפה לניצול של דגמי שפה גדולים במשימות ניתוח נתונים מתקדמות ושאלות ותשובות.

4. הפחתת הזיות: נמצא שGraphRAG מפחית את הנטייה של דגמי שפה גדולים ליצור תוכן "מזויף" שאינו מעוגן במידע שסופק. הגישה המבוססת על גרף עוזרת למודל להיצמד יותר למידע המהימן בהקשר.

5. גמישות: בנוסף לשאלות ותשובות, GraphRAG ניתן ליישום למגוון משימות עיבוד שפה טבעית, כמו חילוץ מידע, המלצות, ניתוח רגשות וסיכום, כל זאת בסביבת אחסון פרטית ומקומית.

כדי להתחיל עם GraphRAG, עליך לבצע את השלבים הבאים:

1. התקנת דרישות מוקדמות:

   • ודא שיש לך Python מותקן במערכת שלך.
   • התקן את החבילות הנדרשות על ידי הרצת pip install graphrag בטרמינל או בשורת הפקודה.

2. שכפול המאגר:

   • פתח את Visual Studio Code (או את הסביבה המועדפת עליך) וצור תיקייה חדשה עבור הפרויקט.
   • בטרמינל, נווט אל תיקיית הפרויקט והרץ git clone https://github.com/microsoft/graph-rag.git כדי לשכפל את מאגר GraphRAG.

3. הגדרת הסביבה:

   • בטרמינל, נווט אל תיקיית graph-rag.
   • ייצא את מפתח ה-API של OpenAI על ידי הרצת export GRAPHRAG_API_KEY=your_api_key_here.

4. יצירת תיקיית קלט:

   • בטרמינל, הרץ mkdir input כדי ליצור תיקייה לקלט עבור המסמכים שלך.

5. אינדקס המסמכים:

   • הנח את המסמכים שלך (למשל, קבצי טקסט, PDF) בתיקיית input.
   • בטרמינל, הרץ python dm_rag_index.py כדי לאינדקס את המסמכים.

6. שוחח עם המסמכים:

   • בטרמינל, הרץ python dm_graph_rag.py --query "your_query_here" --root_dir . --method global.
   • החלף "your_query_here" בשאלה או בבקשה שברצונך לשאול על המסמכים.

GraphRAG יעשה שימוש בגרף הידע שיצר במהלך תהליך האינדקס כדי לספק תגובות רלוונטיות ומקיפות לשאלות שלך, עולה על טכניקות RAG מסורתיות.

כדי להתחיל עם GraphRAG, עליך לבצע את השלבים הבאים:

1. התקנת דרישות מוקדמות:

   • ודא שיש לך Python מותקן במערכת שלך.
   • התקן את Pip על ידי הרצת הפקודה המסופקת בשורת הפקודה שלך.

2. שכפול המאגר:

   • פתח את Visual Studio Code וצור חלון חדש.
   • פתח את הטרמינל על ידי לחיצה על לחצן הפאנל ההפעלה.
   • בטרמינל, נווט אל הסביבה של Bash והרץ את הפקודה pip install graphrag כדי להתקין את החבילות הנדרשות.

3. הגדרת הסביבה:

   • בטרמינל, הקלד cd graphrag כדי לנווט אל המאגר שנשכפל.
   • ייצא את מפתח ה-API של OpenAI על ידי הרצת הפקודה export GRAPHRAG_API_KEY=your_api_key_here.

4. יצירת תיקיית קלט:

   • בטרמינל, הרץ את הפקודה mkdir input כדי ליצור תיקייה לקלט שבה תניח את הקבצים או המסמכים שלך.
   • פתח את התיקייה ב-VS Code על ידי לחיצה על "File" > "Open Folder" ובחירה במאגר שנשכפל.

5. אינדקס המסמך:

   • הנח את המסמך שלך (למשל, דוח פיננסי) בתיקיית הקלט.
   • בטרמינל, הרץ את הפקודה python dm_rrag index כדי לאינדקס את המסמך הנוכחי.
   • זה יצור דוח קהילה על המסמך המאוינדקס, שאותו תוכל להשתמש כעת לשיחה.

6. תצורת הסביבה:

   • בקובץ env, תוכל להגדיר את מפתח ה-API, סוג המודל וההגדרות האחרות.
   • תוכל לציין את השימוש במודל LLAMA או בממשק של OpenAI.
   • שמור את השינויים בקובץ env.

7. הרץ את הקוד:

   • בטרמינל, הרץ את הפקודה python dm_rrag query --root_folder . --method global --query "your_query_here" כדי להתחיל לשוחח עם המסמך המאוינדקס.

כדי לשוחח עם GraphRAG, עליך לבצע את השלבים הבאים:

1. לאחר אינדקס המסמך באמצעות הפקודה python dm_rrag index, תוכל להתחיל את השיחה על ידי הרצת הפקודה python dm_rrag query --root_folder . --method global "your query here".

2. החלף "your query here" בשאלה או בבקשה שברצונך לשאול את GraphRAG על המסמך המאוינדקס.

3. GraphRAG ישתמש בגרף הידע שיצר במהלך תהליך האינדקס כדי לספק תגובה רלוונטית ומידעית, תוך ניצול הכוח של דגמי שפה גדולים והמידע המובנה בגרף הידע.

4. תוכל להמשיך לשוחח עם GraphRAG על ידי הרצת אותה פקודה עם שאלות שונות. המערכת תשתמש בגרף הידע הקיים כדי לספק תגובות המותאמות לשאלות שלך.

5. אם ברצונך להחליף למודל שפה שונה, תוכל להגדיר את המודל בקובץ .env על ידי ציון LLM_TYPE ומתן את נקודת הקצה המתאימה או נתיב המודל המקומי.

6. הגישה המקיפה של GraphRAG לייצור מבוסס אחזור מאפשרת לו לעלות על טכניקות RAG בסיסיות מסורתיות, בעיקר עבור מערכות נתונים מורכבות או פרטיות, על ידי חיבור של חלקי מידע שונים וספק תובנות מסונתזות.