توسيع نطاق السياق للنماذج اللغوية الكبيرة يفتح إمكانات وحالات استخدام كبيرة. كما يشرح ليو، فإن نافذة السياق الأكبر تسمح للنموذج بالاحتفاظ بمزيد من المعلومات في "الذاكرة العاملة" له، على غرار كيفية قيام البشر بالدراسة السريعة لموضوع ما قبل اختبار. هذا يمكّن النموذج من إجراء استدلال وتركيب أكثر تعقيدًا عبر مجموعة أوسع من المعلومات.

بعض الفوائد الرئيسية لنوافذ السياق الأطول تشمل:

• الكفاءة والحد من التكاليف الإضافية: بدلاً من الحاجة إلى تقسيم المعلومات إلى قطع أصغر وتغذية النموذج بها على التوالي، فإن نافذة السياق الأطول تسمح للنموذج بمعالجة السياق الكامل في مرور واحد. هذا يقلل من الحاجة إلى ما قبل المعالجة والتلخيص والمهام الإضافية الأخرى.

• فهم أعمق: مع توفر المزيد من السياق، يمكن للنموذج فهم العلاقات والروابط بين مختلف أجزاء المعلومات بشكل أفضل. هذا قوي بشكل خاص لحالات الاستخدام مثل توليد الرمز، حيث يمكن للنموذج التفكير في قاعدة الرمز أو المشروع بأكمله، بدلاً من ملف أو وظيفة واحدة فقط.

• التكامل المتعدد الوسائط: تمكّن نوافذ السياق الأطول النموذج من استيعاب وتحليل مصادر بيانات متنوعة، من النص إلى الصور إلى مقاطع الفيديو. هذا يفتح إمكانات جديدة للمهام التي تتطلب المراجعة المتبادلة والتركيب من مختلف الأشكال.

التحديات في تحقيق نوافذ سياق أطول تتمحور أساسًا حول الكفاءة الحسابية وضمان قدرة النموذج على الاستفادة بفعالية من السياق الإضافي. كما يصف ليو، فإن تقنيات مثل التخزين المؤقت والتحسين في حسابات الانتباه هي المفتاح لجعل هذه النماذج عملية وأدائية.

بشكل عام، القدرة على العمل مع نوافذ سياق أطول تمثل تقدمًا كبيرًا في قدرات النماذج اللغوية الكبيرة. إنه يفتح الباب أمام مساعدين ذكاء اصطناعي أكثر قوة ومرونة ووعيًا بالسياق والقادرين على معالجة مشاكل العالم الحقيقي المتزايدة التعقيد.

تمديد نافذة السياق للنماذج اللغوية الكبيرة إلى ما يتجاوز 4-8 آلاف رمز يطرح تحديات حسابية كبيرة. العائق الرئيسي يكمن في حساب الانتباه، والذي ينمو بشكل تربيعي مع عدد الرموز.

للتصدي لهذا، قام فريق في Gradient بتطوير تقنيات جديدة لجعل تدريب نماذج السياق الطويل أكثر كفاءة - بما يصل إلى 30 مرة أكثر كفاءة في وقت الحساب و100 مرة أكثر كفاءة في كفاءة العينة مقارنة بالأعمال السابقة. وقد مكّنهم هذا من تدريب نموذج Llama 3 بنافذة سياق تبلغ مليون رمز بنجاح.

يتضمن هذا العملية تصميم ترميز الموضع بعناية للسماح للنموذج بفهم والتفكير في هذه السياقات الطويلة بفعالية. بالإضافة إلى ذلك، قام الفريق بتنفيذ استراتيجيات التخزين المؤقت لإعادة استخدام حسابات الانتباه عبر الاستعلامات المتعددة، مما يقلل من العبء الحسابي في الوقت الفعلي.

بينما استخدام هذه النماذج طويلة السياق أكثر كثافة حسابية من الإصدارات الأساسية 4-8 آلاف، فقد ضمن الفريق عدم تدهور الأداء على السياقات الأقصر. هذا يسمح للمستخدمين بالتبديل بسلاسة بين وضعي السياق القصير والطويل حسب احتياجاتهم، دون التضحية بالجودة.

لتقييم هذه القدرات طويلة السياق، يستخدم الفريق مجموعات تقييم متقدمة مثل "إبرة في كومة قش" و"الحاكم". هذه تتجاوز مهام الاسترجاع البسيطة، واختبار قدرة النموذج على تركيب المعلومات المنتشرة عبر السياق الطويل.

يتضمن عملية توسيع نافذة السياق للنماذج اللغوية الكبيرة مثل Llama 3 عدة اعتبارات رئيسية. أولاً، يجب معالجة التحديات الحسابية، حيث أن تشغيل نماذج السياق الطويل على GPU واحد يمكن أن يصبح مكلفًا بسرعة. لقد عمل فريق Gradient على تحسين كفاءة عملية تدريبهم، وحققوا تحسينات تصل إلى 100 مرة في كفاءة العينة مقارنة بالأعمال السابقة.

يتطلب توسيع طول السياق أيضًا تعليم النموذج مهارات جديدة في فهم والتفكير في تسلسلات النص الأطول. يتم القيام بذلك من خلال عملية تدريب أكثر شبهًا بتدريب النموذج الأصلي، مع التركيز على ترميز الموضع لمساعدة النموذج على التمييز بين الرموز التي تبعد 10 أو 100 أو مليون رمز.

عند تقييم أداء هذه النماذج طويلة السياق، فإن مهمة "إبرة في كومة قش" هي نقطة انطلاق جيدة، حيث يجب على النموذج تحديد قطعة صغيرة من المعلومات المدفونة داخل سياق كبير. ومع ذلك، فإنها تختبر فقط قدرة النموذج على إجراء استرجاع ارتباطي. لتقييم قدرة النموذج على المراجعة المتبادلة والتركيب من أجزاء مختلفة من سياق كبير بشكل أفضل، فإن مقاييس مثل "الحاكم" الخاصة بـ Nvidia أكثر ملاءمة.

يقدم الحاكم تسلسل 13 مهمة مختلفة، تتراوح من إبر متعددة في كومة قش إلى تتبع المتغيرات، حيث يجب على النموذج متابعة سلسلة من قطع المعلومات المترابطة. هذا النوع من المقياس ينعكس بشكل أفضل على حالات الاستخدام الحقيقية للنماذج طويلة السياق، مثل فهم والتفكير في قواعد الرمز الكبيرة أو المعلومات المعقدة والمتعددة الأجزاء الأخرى.

بينما تؤدي النماذج طويلة السياق الحالية مثل إصدار Llama 3 بمليون رمز من Gradient بشكل جيد في هذه المقاييس، لا يزال هناك مجال للتحسين، خاصة مع استمرار نمو أطوال السياق. يستكشف الفريق تقنيات كفؤة في استخدام الذاكرة لخدمة هذه النماذج، مما يسمح بحالات استخدام أكثر عملية وسهلة الوصول. مع تطور مجال النماذج اللغوية الكبيرة، ستكون القدرة على العمل والتفكير في سياقات أطول مجالاً رئيسيًا للتركيز والابتكار.

مع تطور مجال النماذج اللغوية الكبيرة، هناك مجالان رئيسيان يولدان حماسًا هما كفاءة الذاكرة والتعددية الوسائطية.

كفاءة الذاكرة:

• تقديم النماذج اللغوية الكبيرة مع نوافذ سياق بمليون رمز يطرح تحديات حسابية كبيرة.
• التقنيات مثل التخزين المؤقت والضغط الانتقائي للذاكرة يمكن أن تساعد في جعل هذه النماذج أكثر كفاءة في استخدام الذاكرة وأكثر عملية للنشر.
• الهدف هو محاكاة قدرة الدماغ البشري على الوصول الانتقائي إلى المعلومات ذات الصلة من "بنوك الذاكرة" الشاسعة الخاصة بنا بدلاً من الاحتفاظ بما يعادل كتاب دراسي كامل في ذاكرتنا العاملة.
• سيكون تطوير خوارزميات كفؤة في استخدام الذاكرة أمرًا حاسمًا لجعل نماذج السياق الكبيرة متاحة وقابلة للاستخدام على نطاق واسع.

التعددية الوسائطية:

• القدرة على دمج والتفكير في العديد من الأشكال، مثل النص والصور وحتى الفيديو، هي حدود جديدة للنماذج اللغوية الكبيرة.
• القدرة على إدخال فيديو مدته 30 دقيقة بأكمله في نافذة السياق والسماح للنموذج بفهم ومعالجة محتواه تفتح إمكانات جديدة.
• هذا الفهم المتعدد الوسائط يمكن أن يمكّن من تطبيقات قوية، مثل توليد الرمز الذي يندمج مع قاعدة الرمز، أو الإجابة على الأسئلة التي تستمد من مصادر معلومات متنوعة.
• تقدم القدرات المتعددة الوسائط سيتطلب مزيدًا من البحث والابتكار، ولكن العوائد المحتملة كبيرة.

بشكل عام، يكمن مستقبل النماذج اللغوية الكبيرة في جعلها أكثر كفاءة في استخدام الذاكرة ومتعددة الوسائط. من خلال معالجة هذه التحديات، يمكن لمجتمع البحث إطلاق مستويات جديدة من فهم اللغة والاستدلال، مع تطبيقات متحولة عبر الصناعات.

إن القدرة على توسيع نافذة السياق للنماذج اللغوية الكبيرة هي تقدم كبير في مجال معالجة اللغة الطبيعية. كما ناقش ليو، فإن نافذة السياق الأكبر تسمح للنماذج بالاحتفاظ بمزيد من المعلومات في "الذاكرة العاملة" لديها، مما يمكنها من إجراء استدلال وتركيب أكثر تعقيدًا عبر مجموعة أوسع من البيانات.

بعض الفوائد الرئيسية لنوافذ السياق الكبيرة تشمل:

• المساعدة المحسنة في البرمجة: السماح للنماذج بالرجوع إلى قاع