RAG (Retrieval Augmented Generation) هو نهج يستخدم لتعزيز نماذج اللغة الكبيرة القائمة من خلال دمج المعرفة الخارجية. الفكرة الرئيسية وراء RAG هي الجمع بين قوة نماذج اللغة الكبيرة مع القدرة على استرداد والاستفادة من المعلومات ذات الصلة من مصادر خارجية، مثل قواعد المعرفة أو مجموعات النصوص.

الفوائد الرئيسية لنهج RAG هي:

1. تحسين الصلة: من خلال استرداد ودمج المعلومات ذات الصلة، يمكن لRAG توفير استجابات أكثر دقة وصلة، خاصة للأسئلة التي تتطلب معرفة محددة.

2. تقليل الهلوسة: تم إثبات أن RAG يقلل من ميل نماذج اللغة الكبيرة إلى إنشاء محتوى مهلوس أو غير صحيح من الناحية الواقعية، حيث تكون الاستجابات مرتبطة بالمعلومات المسترجعة.

3. التنوع: بالإضافة إلى الإجابة على الأسئلة، يمكن تطبيق RAG على مهام معالجة اللغة الطبيعية المختلفة مثل استخراج المعلومات والتوصية وتحليل المشاعر والتلخيص.

4. معالجة البيانات الخاصة: يمكن لRAG العمل مع مجموعات بيانات خاصة أو حساسة، حيث يتم معالجة والاحتفاظ بالمعلومات محليًا، دون الحاجة إلى مشاركة البيانات مع خدمات خارجية.

GraphRAG هو تقدم كبير على أنظمة RAG (Retrieval Augmented Generation) التقليدية. فيما يلي كيف يختلف عنها:

1. استخراج المعرفة الرسومية: على عكس الاسترداد النصي البسيط، يقوم GraphRAG بدمج استخراج النص مع تحليل الشبكة وتحفيز نموذج اللغة لبناء رسم بياني للمعرفة شامل من البيانات الأصلية. هذا يسمح بفهم أعمق وأكثر شمولاً للمحتوى.

2. تحسين الدقة والصلة: من خلال الاستفادة من الرسم البياني للمعرفة، يمكن لGraphRAG توفير استجابات أكثر دقة وصلة، خاصة للبيانات المعقدة أو المتخصصة. يساعد النهج القائم على الرسم البياني في ربط أجزاء المعلومات المتفرقة وتركيب الرؤى التي تتفوق على تقنيات RAG الأساسية.

3. فهم البيانات الشامل: يتبع GraphRAG نهجًا أكثر شمولاً، مما يعزز الفهم الشامل والتلخيص لمجموعات البيانات الكبيرة. هذا يجعله خيارًا أفضل لتسخير نماذج اللغة الكبيرة في تحليل البيانات المتقدم ومهام الإجابة على الأسئلة.

4. تقليل الهلوسة: تم إثبات أن GraphRAG يقلل من ميل نماذج اللغة الكبيرة إلى إنشاء محتوى "مهلوس" غير مرتبط بالمعلومات المقدمة. يساعد النهج القائم على الرسم البياني النموذج على الالتزام بشكل أوثق بالمعلومات الموثوقة في السياق.

5. التنوع: بالإضافة إلى الإجابة على الأسئلة، يمكن تطبيق GraphRAG على مجموعة متنوعة من مهام معالجة اللغة الطبيعية، مثل استخراج المعلومات والتوصيات وتحليل المشاعر والتلخيص، كل ذلك في بيئة تخزين محلية وخاصة.

بشكل عام، يمثل GraphRAG تقدمًا كبيرًا في مجال التوليد المعزز بالاسترداد، مما يوفر دقة وصلة وفهمًا شاملاً للبيانات أفضل، مما يجعله إطارًا قويًا لتسخير نماذج اللغة الكبيرة في التطبيقات المتقدمة.

للبدء باستخدام GraphRAG، اتبع هذه الخطوات:

1. تثبيت المتطلبات الأساسية:

   • تأكد من وجود Python مثبت على نظامك.
   • قم بتثبيت الحزم المطلوبة من خلال تشغيل pip install graphrag في طرفيتك أو موجه الأوامر.

2. استنساخ المستودع:

   • افتح Visual Studio Code (أو البيئة المفضلة لديك) وأنشئ مجلدًا جديدًا للمشروع.
   • في الطرفية، انتقل إلى مجلد المشروع وقم بتشغيل git clone https://github.com/microsoft/graph-rag.git لاستنساخ مستودع GraphRAG.

3. إعداد البيئة:

   • في الطرفية، انتقل إلى دليل graph-rag.
   • قم بتصدير مفتاح API الخاص بك لـ OpenAI من خلال تشغيل export GRAPHRAG_API_KEY=your_api_key_here.

4. إنشاء مجلد الإدخال:

   • في الطرفية، قم بتشغيل mkdir input لإنشاء مجلد الإدخال لمستنداتك.

5. فهرسة المستندات:

   • ضع مستنداتك (على سبيل المثال، ملفات نصية، PDF) في مجلد input.
   • في الطرفية، قم بتشغيل python dm_rag_index.py لفهرسة المستندات.

6. الدردشة مع المستندات:

   • في الطرفية، قم بتشغيل python dm_graph_rag.py --query "your_query_here" --root_dir . --method global.
   • استبدل "your_query_here" بالسؤال أو الاستفسار الذي تريد طرحه حول المستندات.

سيستخدم GraphRAG الآن الرسم البياني للمعرفة الذي أنشأه خلال عملية الفهرسة لتوفير استجابات ذات صلة وشاملة لاستفساراتك، متفوقًا على تقنيات التوليد المعزز بالاسترداد التقليدية.

للبدء باستخدام GraphRAG، ستحتاج إلى اتباع هذه الخطوات:

1. تثبيت المتطلبات الأساسية:

   • تأكد من وجود Python مثبت على نظامك.
   • قم بتثبيت Pip من خلال تشغيل الأمر المقدم في موجه الأوامر الخاص بك.

2. استنساخ المستودع:

   • افتح Visual Studio Code وأنشئ نافذة جديدة.
   • افتح الطرفية من خلال النقر على زر تبديل اللوحة.
   • في الطرفية، انتقل إلى بيئة Bash وقم بتشغيل الأمر pip install graphrag لتثبيت الحزم الضرورية.

3. إعداد البيئة:

   • في الطرفية، اكتب cd graphrag للانتقال إلى المستودع المنسوخ.
   • قم بتصدير مفتاح API الخاص بك لـ OpenAI من خلال تشغيل الأمر export GRAPHRAG_API_KEY=your_api_key_here.

4. إنشاء مجلد الإدخال:

   • في الطرفية، قم بتشغيل الأمر mkdir input لإنشاء مجلد الإدخال حيث ستضع ملفاتك أو مستنداتك.
   • افتح المجلد في VS Code من خلال النقر على "File" > "Open Folder" وتحديد المستودع المنسوخ.

5. فهرسة المستند:

   • ضع مستندك (على سبيل المثال، تقرير مالي) في مجلد الإدخال.
   • في الطرفية، قم بتشغيل الأمر python dm_rrag index لفهرسة المستند الحالي.
   • سيؤدي هذا إلى إنشاء تقرير مجتمعي حول المستند المفهرس، والذي يمكنك الآن استخدامه للدردشة.

6. تكوين البيئة:

   • في ملف env، يمكنك تكوين مفتاح API والنوع النموذجي والإعدادات الأخرى.
   • يمكنك تحديد استخدام نموذج LLAMA أو واجهة OpenAI.
   • قم بحفظ التغييرات في ملف env.

7. تشغيل الكود:

   • في الطرفية، قم بتشغيل الأمر python dm_rrag query --root_folder . --method global --query "your_query_here" لبدء الدردشة مع المستند المفهرس.

من خلال اتباع هذه الخطوات، يمكنك إعداد GraphRAG وفهرسة مستنداتك والبدء في استخدام قدرات التوليد المعزز بالاسترداد لتعزيز مهام معالجة اللغة الطبيعية الخاصة بك.

للدردشة مع GraphRAG، اتبع هذه الخطوات:

1. بعد فهرسة المستند باستخدام الأمر python dm_rrag index، يمكنك بدء الدردشة من خلال تشغيل الأمر python dm_rrag query --root_folder . --method global "your query here".

2. استبدل "your query here" بالسؤال أو الطلب الذي تريد طرحه على GraphRAG حول المستند المفهرس.

3. سيستخدم GraphRAG الآن الرسم البياني للمعرفة الذي أنشأه خلال عملية الفهرسة لتوفير استجابة ذات صلة ومفيدة، مستفيدًا من قوة نماذج اللغة الكبيرة والمعلومات المنظمة في الرسم البياني للمعرفة.

4. يمكنك متابعة الدردشة مع GraphRAG من خلال تشغيل نفس الأمر مع استفسارات مختلفة. سيستخدم النظام الرسم البياني للمعرفة الحالي لتوفير استجابات مصممة لأسئلتك.

5. إذا كنت ترغب في التبديل إلى نموذج لغة مختلف، يمكنك تكوين النموذج في ملف .env من خلال تحديد LLM_TYPE وتوفير نقطة نهاية API المناسبة أو مسار النموذج المحلي.

6. يسمح النهج الشامل لGraphRAG للتوليد المعزز بالاسترداد بتفوقه على تقنيات RAG الأساسية التقليدية، خاصة للبيانات المعقدة أو الخاصة، من خلال ربط أجزاء المعلومات المتفرقة وتوفير رؤى مركبة.