أظهرت الأبحاث الحديثة أن الجمع بين نماذج اللغة الكبيرة (LLMs) وتقنيات البحث يمكن أن يؤدي إلى قدرات مذهلة، متفوقة حتى على أداء نماذج أكبر بكثير مثل GPT-4.

أظهر بحث أن نموذج LLM صغير نسبيًا بمعلمات بلغت 8 مليارات، عندما تم تعزيزه بخوارزمية تكرار ذاتي مونت كارلو، يمكنه تحقيق دقة 96.7% على مقياس GSM8K الرياضي - متفوقًا على GPT-4 وClaude وGemini الذين لديهم 200 ضعف المعلمات.

يدمج هذا النهج بحث شجرة مونت كارلو مع LLMs، مما يسمح للنموذج بتكرار تحسين إجاباته من خلال البحث في مختلف الإصدارات والمحاولة في التحسينات. تتبع الخوارززمية أنماط عامة لبحث مونت كارلو، ولكن تطبقها على مهمة حل المشاكل الرياضية.

الفكرة الرئيسية هي أنه من خلال إعطاء LLM المزيد من الوقت والقوة الحاسوبية لتوليد الاستجابات، يمكنه تطوير قدرات جديدة تتجاوز الأداء على مستوى البشر في بعض المهام. يعكس هذا النهج المستخدم بواسطة AlphaGo من DeepMind، حيث سمح التحسين الذاتي من خلال اللعب الذاتي الهائل بتجاوز أفضل لاعبي الذهب البشريين.

بينما تقتصر LLMs الحالية في مجالات مثل السياق طويل المدى والرؤية والقدرة على البرمجة، تشير هذه النتائج إلى أن الجمع بينها وبين التقنيات القائمة على البحث قد يكون طريقًا لتحقيق مكاسب كبيرة في القدرات. مع ظهور نماذج مثل GPT-5 مع تحسينات في القدرات الأساسية، قد يؤدي دمجها مع خوارزميات البحث المتقدمة إلى إطلاق أداء أكثر إثارة للإعجاب، مما قد يتجاوز القدرات النموذجية على مستوى البشر في مجموعة متنوعة من المعايير.

يسلط قدرة نموذج LLM صغير نسبيًا على التفوق على نماذج أكبر بكثير في مهمة رياضية الضوء على إمكانات هذا النهج، ويشير إلى أننا قد نكون على أعتاب اختراقات كبيرة في قدرات الاستدلال والحل المشكلات في الذكاء الاصطناعي.