في هذا القسم، سنستكشف استخدام نماذج اللغة المحلية (LLMs) مع إطار Graph RAG (Retrieval-Augmented Generation). على الرغم من أن استخدام نموذج محلي يمكن أن يوفر بعض المزايا، هناك أيضًا تحديات كبيرة يجب مراعاتها.

أحد المزايا الرئيسية لاستخدام LLM محلي هو توفير التكاليف المحتمل. الوصول إلى واجهة برمجة تطبيقات (API) بعيدة مثل OpenAI يمكن أن يكون مكلفًا، خاصةً للتطبيقات الواسعة النطاق. من خلال تشغيل نموذج محلي، يمكنك تجنب تكاليف هذه الواجهة وتقليل النفقات التشغيلية الإجمالية لنظام Graph RAG الخاص بك. ومع ذلك، فإن اختيار LLM أمر حاسم عند استخدام Graph RAG. على عكس أنظمة الاسترجاع المعززة التقليدية، حيث يلعب نموذج التضمين دورًا أكثر أهمية، فإن LLM في Graph RAG مسؤول عن استخراج الكيانات، والتعرف على العلاقات، وتوليد الملخصات. قد يواجه نموذج أصغر أو أقل قدرة، مثل نموذج Llama-38B المستخدم في المثال، صعوبة في أداء هذه المهام بفعالية، مما يؤدي إلى نتائج غير مثالية.

يوضح المثال أن أداء نموذج Llama-38B ليس جيدًا بقدر نموذج GPT-4 المستخدم في الفيديو السابق. يفشل الملخص الذي ولده Llama-38B في التقاط الموضوع الرئيسي للكتاب بدقة مثل إخراج GPT-4. هذا يسلط الضوء على أهمية استخدام LLM أكبر وأكثر قدرة لتطبيقات Graph RAG.

لمعالجة هذا التحدي، يقترح الفيديو استكشاف استخدام نماذج أكبر، مثل نموذج Llama-370B من Gro. ومع ذلك، فإن هذا يأتي مع مجموعة من الاعتبارات الخاصة به، مثل الحاجة إلى إدارة حدود المعدل والأوقات الأطول المحتملة للمعالجة اللازمة للفهرسة والاستعلام.

وفي الختام، على الرغم من أن استخدام LLM محلي يمكن أن يوفر وفورات في التكاليف، إلا أن اختيار LLM أمر حاسم لنجاح نظام Graph RAG. من الضروري تقييم قدرات LLMs المختلفة والعثور على التوازن الصحيح بين الأداء والتكلفة لنشر حل Graph RAG فعال.