מחקר מחקר אחרון הראה כי שילוב של דגמי שפה גדולים (LLMs) עם טכניקות חיפוש יכול להוביל ליכולות מרשימות, אפילו עולות על ביצועי דגמים גדולים הרבה יותר כמו GPT-4.

מאמר הדגים כי LLM יחסית קטן בעל 8 מיליארד פרמטרים, כאשר משולב עם אלגוריתם מונטה קרלו מזוקק עצמית, יכול להשיג דיוק של 96.7% במדד המתמטי GSM8K - עולה על GPT-4, Claude וGemini שיש להם 200 פעמים יותר פרמטרים.

גישה זו משלבת חיפוש עץ מונטה קרלו עם LLMs, מאפשרת למודל לשפר את התשובות שלו בצורה איטרטיבית על ידי חיפוש על גרסאות שונות וניסיון לשיפורים. האלגוריתם מקפיד על דפוסי החיפוש הכלליים של מונטה קרלו, אך מיישם אותו למשימת פתרון בעיות מתמטיות.

התובנה המפתחת היא שעל ידי מתן יותר זמן וכוח מחשוב ללLLM לייצר תגובות, הוא יכול לפתח יכולות חדשות שעולות על ביצועי רמת האדם בחלק מהמשימות. זה מקביל לגישה שנעשתה על ידי AlphaGo של DeepMind, שם שיפור עצמי דרך משחק עצמי מסיבי אפשר לו לעבור את השחקנים האנושיים הטובים ביותר בגו.

בעוד שLLMs הנוכחיים מוגבלים בתחומים כמו הקשר ארוך טווח, ראייה ויכולת קידוד, ממצאים אלה מציעים ששילוב שלהם עם טכניקות מבוססות חיפוש יכול להיות נתיב לשיפורים משמעותיים ביכולות. ככל שדגמים כמו GPT-5 מופיעים עם יכולות ליבה משופרות, שילוב שלהם עם אלגוריתמי חיפוש מתקדמים עשוי לפתוח ביצועים מרשימים אפילו יותר, ואולי אפילו לעבור את היכולות האנושיות הטיפוסיות על מגוון רחב של מדדים.

היכולת של LLM יחסית קטן להתגבר על דגמים גדולים הרבה יותר במשימה מתמטית מדגישה את הפוטנציאל של גישה זו, ומציעה שאנו עשויים להיות על סף פריצות דרך משמעותיות ביכולות הסקה והפתרון של בעיות בבינה מלאכותית.