Cognito هو إطار عمل مفتوح المصدر مصمم لتبسيط تطوير التطبيقات القابلة للتوسيع والجاهزة للإنتاج. إنه يستفيد من قوة LLaMA و Llama Index لتوفير قاعدة كود منظمة وقابلة للتوسيع.

يعالج Cognito التحديات الرئيسية في بناء التطبيقات الجاهزة للإنتاج:

1. التقطيع والتضمين: يتعامل Cognito مع استخراج ونشر وجدولة الشفرة لمهام التقطيع والتضمين، مما يضمن تحديثات البيانات الفعالة.

2. خدمات الاستعلام: يقوم Cognito بتغليف الشفرة لتوليد إجابات الاستعلام في خادم API قابل للتوسيع، مثل FastAPI، قادر على التعامل مع العديد من الاستعلامات في وقت واحد.

3. نماذج LLM والتضمين: يمكّن Cognito من استضافة النماذج المدربة مسبقًا في الإنتاج، والوصول إليها من خلال مكالمات API، بدلاً من تحميلها داخل دفاتر Jupyter.

4. نشر قاعدة البيانات المتجهة: يبسط Cognito الانتقال من الاختبار على قواعد البيانات المتجهة المحلية إلى نشرها في بيئة إنتاج أكثر قابلية للتوسيع وموثوقية.

يوفر Cognito واجهة مستخدم سهلة الاستخدام للتجريب مع تكوينات مختلفة، وإدارة مصادر البيانات، ومراقبة النتائج في الوقت الفعلي. يمكن استخدامه بشكل مستقل أو تكامله مع مكونات Trufoundry، مما يسهل الاختبار ونشر النظام القابل للتوسيع.

تشمل المزايا الرئيسية لـ Cognito:

1. مستودع مركزي قابل لإعادة الاستخدام: يوفر Cognito مستودعًا مشتركًا لمحللات البيانات والمحملات والمضمنات والمسترجعات، مما يعزز إمكانية إعادة الاستخدام عبر المشاريع.
2. تفاعل المستخدم غير التقني: تمكّن واجهة المستخدم الرسومية البسيطة لـ Cognito المستخدمين غير التقنيين من التفاعل مع النظام، مما يسمح بتحميل المستندات والأسئلة والإجابات باستخدام الوحدات المطورة.
3. التكامل المدفوع بواجهة برمجة التطبيقات: تمكّن المعمارية المدفوعة بواجهة برمجة التطبيقات لـ Cognito التكامل السلس مع أنظمة أخرى.

Cognita، إطار عمل RAG مفتوح المصدر، يعالج عدة تحديات رئيسية في بناء التطبيقات الجاهزة للإنتاج:

1. مهام التقطيع والتضمين: تستخرج Cognita وتنشر الشفرة لمهام التقطيع والتضمين، والتي غالبًا ما تتطلب تنفيذات مجدولة أو مدفوعة بالأحداث لتحديثات البيانات.

2. خدمات الاستعلام: تقوم Cognita بتغليف الشفرة لتوليد إجابات الاستعلام في خادم API (مثل FastAPI)، قادر على التعامل مع العديد من الاستعلامات في وقت واحد والتوسيع التلقائي مع زيادة الحركة المرورية.

3. نماذج LLM والتضمين: تمكّن Cognita من استضافة النماذج المدربة مسبقًا بشكل منفصل في الإنتاج، والوصول إليها من خلال مكالمات API، بدلاً من تحميلها داخل دفاتر Jupyter.

4. نشر قاعدة البيانات المتجهة: تبسط Cognita الانتقال من الاختبار على قواعد البيانات المتجهة المحلية إلى نشرها بطريقة أكثر قابلية للتوسيع وموثوقية في الإنتاج.

تقدم Cognita عدة مزايا رئيسية:

1. مستودع مركزي قابل لإعادة الاستخدام: توفر Cognita مستودعًا مركزيًا للمكونات القابلة لإعادة الاستخدام مثل محللات البيانات والمحملات والمضمنات والمسترجعات، مما يسهل إعادة الاستخدام عبر المشاريع.

2. واجهة مستخدم سهلة الاستخدام للمستخدمين غير التقنيين: تتيح واجهة المستخدم البسيطة لـ Cognita للمستخدمين غير التقنيين التفاعل بسهولة مع النظام، مما يمكّنهم من تحميل المستندات والأسئلة والإجابات باستخدام الوحدات المطورة.

3. مدفوع بواجهة برمجة التطبيقات بالكامل: تسهل المعمارية المدفوعة بواجهة برمجة التطبيقات لـ Cognita التكامل السلس مع أنظمة أخرى، مما يمكّن التطبيقات المتنوعة من الاستفادة من قدراتها.

4. التخصيص والقابلية للتكيف: تحافظ Cognita على التوازن بين التخصيص والقابلية للتكيف، مما يتيح للمستخدمين تخصيص النظام لاحتياجاتهم الخاصة مع الحفاظ على سهولة الاستخدام والقابلية للتوسيع لاستيعاب التطورات في RAG والذكاء الاصطناعي.

5. قابلة للتوسيع وجاهزة للإنتاج: تم تصميم Cognita كإطار عمل مفتوح المصدر وقابل للتوسيع وجاهز للإنتاج، مما يضمن أن التطبيقات المبنية باستخدامها يمكن أن تتعامل مع النمو السريع والاستخدامات المتنوعة.

Cognita هي إطار عمل RAG (Retrieval Augmented Generation) مفتوح المصدر وقابل للتوسيع وجاهز للإنتاج، يهدف إلى تبسيط تطوير ونشر التطبيقات المدعومة بالذكاء الاصطناعي. تم تصميم معماريتها لتحقيق التوازن بين التخصيص والقابلية للتكيف وسهولة الاستخدام، مع التركيز على القابلية للتوسيع لمواكبة التطورات السريعة في RAG والتقنيات المصاحبة للذكاء الاصطناعي.

تبنى معمارية Cognita على سبعة مكونات رئيسية، كل منها قابل للتخصيص والتحكم لتلبية احتياجات مختلفة:

1. محملات البيانات: مسؤولة عن استرداد وتحميل البيانات من مصادر مختلفة، مثل الأدلة المحلية وعناوين URL على الويب ومستودعات GitHub.

2. محللات البيانات: تبسيط معالجة البيانات من خلال توحيد أنواع الملفات المختلفة في تنسيق موحد، وتسهيل التحليل المعقد، وتقسيم البيانات إلى قطع موحدة للتعامل الفعال مع نماذج اللغة الكبيرة.

3. المضمنات: تحويل كل من البيانات والأسئلة إلى تضمينات، مما يمكّن المقارنة الفعالة وتحديد أكثر القطع ذات الصلة لاستعلام معين.

4. المرتبات: تحديد الأفضل في الأعلى من خلال عملية إعادة الترتيب، واختيار المستند الأعلى الذي يوفر السياق الأكثر إيجازًا وأقصر طلبات الاستعلام.

5. قواعد البيانات المتجهة: تخزين واسترجاع البيانات على أساس المتجهات، مما يمكّن من مهام مثل التعرف على الصور وفهم اللغة والتوصية.

6. متاجر البيانات الوصفية: تحتوي على التكوينات التي تحدد مشروعًا أو تطبيقًا RAG، بما في ذلك أسماء المجموعات والقواعد البيانات المتجهة المرتبطة بها ومصادر البيانات وتكوينات التحليل.

7. وحدات التحكم في الاستعلام: تجمع جميع المكونات لإنشاء تطبيق RAG وظيفي وجاهز للإنتاج.

توفر Cognita ملعبًا سهل الاستخدام يتيح لك استكشاف قدراتها. دعنا نغوص في الميزات الرئيسية لملعب Cognita:

1. مصادر البيانات: يمكّن الملعب من إضافة مصادر البيانات بسهولة، سواء كانت عناوين URL على الويب أو مستودعات GitHub أو ملفاتك المحلية الخاصة. هذا يسمح بإدخال محتواك في التطبيق المدعوم بـ Cognita.

2. إدارة المجموعات: يمكنك إنشاء مجموعات جديدة وربطها بمصادر البيانات التي أضفتها. يساعد هذا النظام المجموعات في تنظيم محتواك وجعله متاحًا لوظيفة الدردشة الآلية.

3. تكوين النموذج: يوفر الملعب مرونة في تكوين نماذج الاسترجاع والقوالب النصية المستخدمة بواسطة الدردشة الآلية. يمكنك الاختيار من بين مجموعة متنوعة من النماذج المدربة مسبقًا، مثل تلك الموجودة في فئات Mistral أو Llama 2، لتخصيص سلوك الدردشة الآلية.

4. الأسئلة والإجابات على المستندات: المركز الرئيسي لملعب Cognita هو ميزة الأسئلة والإجابات على المستندات. هذا يسمح لك بالتفاعل مع الدردشة الآلية، وطرح الأسئلة والحصول على إجابات بناءً على المحتوى الذي قدمته. تستفيد الدردشة الآلية من البنية التحتية الأساسية لـ Cognita لاسترجاع المعلومات الأكثر صلة.

5. التفاعل في الوقت الفعلي: أثناء تفاعلك مع الدردشة الآلية، يمكنك ملاحظة النتائج في الوقت الفعلي ومشاهدة كيفية معالجة Cognita للاستعلامات وتقديم الردود. هذه التجربة التفاعلية تساعدك على فهم قدرات هذا الإطار.

Cognito هو إطار عمل قوي مفتوح المصدر يبسط تطوير ونشر التطبيقات الجاهزة للإنتاج المبنية على نماذج اللغة الكبيرة (LLMs) وتقنيات الذكاء الاصطناعي الأخرى. إنه يعالج التحديات الرئيسية التي يواجهها المطورون، مثل معالجة البيانات وإستضافة النماذج والنشر القابل للتوسيع، من خلال توفير معمارية قابلة للتوسيع وقابلة للتمديد.

تشمل ميزات الإطار الرئيسية: