توسع أحدث طرازاتنا نطاق السياق بشكل أصيل إلى 128 ألف، بدلاً من 8 آلاف سابقًا. هذه الزيادة الكبيرة في نافذة السياق تمكن نماذجنا من التعامل بشكل أكثر فعالية مع المهام طويلة المدى، مثل تلخيص النصوص الطويلة، والوكلاء المتعددي اللغات، والمساعدة في البرمجة.

بالإضافة إلى السياق الموسع، يدعم Llama 3.1 الآن ثماني لغات بشكل أصيل، مما يتيح تطبيقات أكثر تنوعًا وتعددية لغوية. يُعتبر الطراز الرئيسي البالغ 405 مليار معلمة، Llama 3.1 405b، نموذجًا أساسيًا مفتوح المصدر رائدًا في الصناعة، يضاهي قدرات أفضل النماذج المغلقة المصدر.

يمكن لهذا الإصدار الجديد من النموذج تمكين المجتمع من إطلاق سراح سيناريوهات جديدة، مثل إنشاء البيانات التركيبية وتقليص النماذج. من خلال الاستفادة من قدرات Llama 3.1 405b، يمكن للمطورين إنشاء وكلائهم المخصصين واستكشاف أنواع جديدة من السلوكيات الوكيلة. نحن أيضًا نعزز النظام البيئي بأدوات أمان وسلامة جديدة، بما في ذلك Llama Guard 3 و Prompt Guard، للمساعدة في بناء مسؤول.

أطلقت Meta Llama 3.1، وهو نموذج يبلغ 405 مليار معلمة يُعتبر متطورًا وقادر على منافسة أفضل النماذج المغلقة المصدر. هذا إنجاز كبير بالنسبة للمجتمع مفتوح المصدر، حيث يُظهر أن النماذج مفتوحة المصدر يمكن أن تنافس الآن أكثر النماذج المتطورة والحصرية.

أبرز ملامح Llama 3.1 405b تشمل:

• مرونة وتحكم لا مثيل لهما: يقدم النموذج قدرات متطورة تضاهي أفضل النماذج المغلقة المصدر، مما يتيح سيناريوهات عمل جديدة مثل إنشاء البيانات التركيبية وتقليص النماذج.
• توسيع طول السياق: يدعم النموذج الآن طول سياق يصل إلى 128 ألف رمز، وهو زيادة كبيرة عن 8 آلاف سابقًا.
• الدعم متعدد اللغات: يدعم Llama 3.1 ثماني لغات، مما يتيح تطبيقات أكثر تنوعًا.
• تحسين الأداء: تُظهر المقاييس أن Llama 3.1 405b يتفوق على GPT-4 في مجموعة من المهام، بما في ذلك المعرفة العامة والقابلية للتوجيه والرياضيات واستخدام الأدوات والترجمة متعددة اللغات.
• نهج النظام البيئي: تحول Meta Llama إلى نظام بيئي من خلال توفير المزيد من المكونات والأدوات، بما في ذلك نظام مرجعي وأدوات أمان وسلامة وطلب تعليق على واجهة برمجة تطبيقات Llama Stack.
• دعم النظام البيئي الواسع: يتم دعم Llama 3.1 من قبل مجموعة واسعة من الشركاء، بما في ذلك AWS و NVIDIA و Databricks و Google Cloud وغيرها، مما يضمن انتشارًا واسعًا والتكامل.

يُعد إصدار Llama 3.1 405b خطوة كبيرة إلى الأمام بالنسبة لمجتمع الذكاء الاصطناعي مفتوح المصدر، حيث يُظهر أن النماذج مفتوحة المصدر يمكن أن تنافس الآن أفضل البدائل المغلقة المصدر. هذا شاهد على العمل الشاق والتفاني من فريق Meta، وسيكون له تأثير دائم على مشهد الذكاء الاصطناعي.

يُعد Llama 3.1 نموذجًا مفتوح المصدر ثوريًا لديه إمكانية منافسة أفضل نماذج الذكاء الاصطناعي المغلقة المصدر. بمعلمات تبلغ 405 مليار، فهو أكثر النماذج المتطورة مفتوحة المصدر التي تم إصدارها حتى الآن.

يوفر هذا النموذج قدرات متطورة في المعرفة العامة والقابلية للتوجيه والرياضيات واستخدام الأدوات والترجمة متعددة اللغات. وهو قادر على المنافسة مع أداء GPT-4 الأحدث من OpenAI والتفوق عليه في كثير من الأحيان.

يُعد إصدار Llama 3.1 إنجازًا كبيرًا بالنسبة للمجتمع مفتوح المصدر، حيث يُظهر أن النماذج مفتوحة المصدر يمكن الآن أن تضاهي قدرات نظيراتها المغلقة المصدر. هذا شاهد على العمل الشاق والتفاني من فريق Meta، الذين كانوا يدفعون بحدود ما هو ممكن مع الذكاء الاصطناعي مفتوح المصدر.

إحدى الميزات الرئيسية لـ Llama 3.1 هي مرونتها وقابليتها للتحكم. يمكن تخصيص النموذج وضبطه لمجموعة واسعة من التطبيقات، مما يمكّن المطورين من إطلاق سراح سيناريوهات عمل جديدة مثل إنشاء البيانات التركيبية وتقليص النماذج.

كجزء من الإصدار الأحدث، تقدم Meta إصدارات محسّنة من نماذج Llama ذات 8 مليارات معلمة و70 مليار معلمة. تتميز هذه النماذج الجديدة بأنها متعددة اللغات وتتميز بأطوال سياق أطول بكثير تصل إلى 128 ألف رمز. كما تتميز بقدرات استخدام الأدوات المتطورة، والتي أصبحت الآن أفضل من أي نماذج مغلقة المصدر في السوق، بما في ذلك Cohere من Anthropic.

بالإضافة إلى ذلك، تتميز هذه النماذج المحسّنة بقدرات استدلالية أقوى، مما يتيح لها دعم حالات استخدام متقدمة مثل تلخيص النصوص الطويلة والوكلاء المتعددي اللغات والمساعدة في البرمجة. هذا تطور مثير، حيث يسمح لهذه النماذج الأصغر بالمنافسة بشكل أكثر فعالية مع النماذج الأكبر المغلقة المصدر.

تم تقييم أداء هذه النماذج المحسّنة عبر 150 مجموعة بيانات مرجعية تغطي مجموعة واسعة من اللغات. وتُظهر النتائج أن نماذج Llama الأصغر تنافسية الآن مع كل من النماذج المغلقة المصدر ومفتوحة المصدر ذات أحجام معلمات مماثلة، مما يُظهر التقدم الملحوظ الذي أحرزه نظام بيئة Llama.

لدعم الاستنتاج الإنتاجي على نطاق واسع لنموذج بحجم 405 مليار معلمة، نفذت Meta عدة تقنيات رئيسية:

1. تكميم النموذج: قاموا بتكميم نماذجهم من 16 بت إلى 8 بت، مما يقلل متطلبات الحوسبة المطلوبة ويسمح للنموذج بالتشغيل داخل عقدة خادم واحدة.

2. محاذاة ما بعد التدريب: في عملية ما بعد التدريب، تنتج Meta نماذج الدردشة النهائية من خلال القيام بعدة جولات من المحاذاة على رأس النموذج المدرب مسبقًا. يتضمن هذا تقنيات مثل التدريب المحدد الإشراف وأخذ العينات الرافضة والتحسين المباشر للتفضيل لتحسين قدرات النموذج بشكل أكبر.

3. إنشاء البيانات التركيبية: استخدمت Meta إنشاء البيانات التركيبية لإنتاج الغالبية العظمى من أمثلة التدريب المحدد الإشراف، مع التكرار عدة مرات لإنشاء بيانات تركيبية ذات جودة أعلى عبر جميع القدرات. يسمح هذا لهم بزيادة حجم بيانات التدريب دون الاعتماد فقط على مجموعات البيانات الحقيقية النادرة.

4. شراكات النظام البيئي: لضمان الدعم الواسع للنشر على نطاق واسع، عملت Meta مع شركاء مثل AWS و NVIDIA و Databricks وغيرهم لبناء دعم من اليوم الأول لنماذج Llama 3.1 عبر منصات وأطر استنتاج مختلفة.

من خلال تنفيذ هذه الاستراتيجيات، تهدف Meta إلى جعل نموذج Llama 3.1 القوي البالغ 405 مليار معلمة متاحًا لحالات استخدام الإنتاج على نطاق واسع، مما يمكّن المجتمع الأوسع للذكاء الاصطناعي من الاستفادة من القدرات المتطورة دون الحاجة إلى بنية تحتية ضخمة داخلية.

يُعد إصدار Llama 3.1 علامة فارقة في مشهد الذكاء الاصطناعي مفتوح المصدر. كجزء من هذا التحديث، تقدم Meta Llama Stack - مجموعة من واجهات برمجة التطبيقات القياسية والمتخصصة لبناء مكونات سلسلة الأدوات القياسية، والتدريب المحدد، وإنشاء البيانات التركيبية، والتطبيقات الوكيلة.

الهدف من Llama Stack هو تعزيز التشغيل البيني الأسهل عبر نظام بيئة Llama، على عكس النماذج المغلقة حيث تكون الواجهات غالبًا حصرية. من خلال تعريف هذه الواجهات القياسية، تأمل Meta أن يتم تبنيها عبر المجتمع الأوسع، مما يمكّن المطورين من التخصيص والبناء على نماذج Llama بسهولة أكبر.

تشمل بعض المكونات الرئيسية لـ Llama Stack:

1. الاستنتاج في الوقت الفعلي والدفعي: واجهات قياسية لنشر نماذج Llama في بيئات الإنتاج، مع دعم حالات استخدام الاستنتاج في الوقت الفعلي والدفعي.

2. التدريب المحدد الإشراف: واجهات محددة للتدريب المحدد على مجموعات البيانات المخصصة، مما يمكّن المطورين من تكييف النماذج لتلبية احتياجاتهم المحددة.

3. التقييمات: أ