ישות בעלת אינטליגנציה כללית דורשת סינתזה של שלושה רכיבים עיקריים:

1. דרך ליצירת אינטראקציה וצפייה בסביבה מורכבת: זה בדרך כלל אומר גוף פיזי - היכולת לתפוס ולהפעיל אינטראקציה עם העולם הטבעי באמצעות קלטים חושיים שונים כמו מגע, ריח, ראייה וכו'. זה מאפשר לישות לבנות מודל עולם עמיד המכסה את הסביבה.

2. מנגנון לביצוע אינטרוספקציה עמוקה בנושאים שרירותיים: זוהי היכולת לביצוע הנמקה, או "חשיבה איטית" (חשיבה מערכת 2), שבה הישות יכולה לחשוב בעומק על בעיות ולגבש תוכניות לפתרונן.

3. מודל עולם המכסה את הסביבה: זהו המנגנון המאפשר לישות לבצע הסקות מהירות בדיוק סביר, בדומה ל"אינטואיציה" או "חשיבה מהירה" (חשיבה מערכת 1) של בני אדם.

עם שלושת הרכיבים האלה, ניתן ל"זרוע" את הישות ביעדים, ולהשתמש בחשיבה מערכת 2 שלה בשילוב עם מודל העולם שלה כדי להגה דרכים לאופטימיזציה של אותם יעדים. היא יכולה לאחר מכן לנקוט פעולות, לצפות בתוצאות ולעדכן את מודל העולם בהתאם. מחזור זה יכול להישנות לאורך זמן רב, מאפשר לישות לבצע ולאופטם באופן קוהרנטי כל יעד נתון.

המפתח הוא שהישות אינה בהכרח זקוקה ליכולת להשיג יעדים שרירותיים, אלא להתאמה והקוהרנציה להמשיך לפעול לקראת יעד יחיד לאורך זמן. זה מה שמגדיר מערכת בעלת אינטליגנציה כללית אמיתית.

אנו כבר בונים מודלי עולם באמצעות טרנספורמרים אוטורגרסיביים, אותה ארכיטקטורה שהשתמשנו בה לאחרונה, בפרט מסוג Omni. עד כמה הם עמידים הוא נושא לדיון, עם בעיות כמו הזיות ובעיות אחרות. עם זאת, הבשורה הטובה היא שלפי ניסיון המחבר, הגדלה בקנה מידה משפרת את העמידות.

כרגע, האנושות שופכת הון רב לקנה מידה של מודלים אוטורגרסיביים. Microsoft משקיעה הון רב בפרויקט Stargate בשיתוף פעולה עם OpenAI, וSam Altman מחפש 7 טריליון דולר בהון (אם כי זה כנראה כותרת פיצוץ).

כל עוד הקנה מידה ימשיך לגדול, העמידות של מודלי העולם האלה אמורה להשתפר.

המחבר חושד שמודלי העולם שיש לנו כרגע מספיקים לבניית סוכן בעל אינטליגנציה כללית. הוא גם חושד שניתן לשפר את העמידות באמצעות האינטראקציה של חשיבה מערכת 2 (הנמקה עמוקה ומכוונת) וצפייה בעולם האמיתי - פרדיגמה שעדיין לא נראתה באינטליגנציה מלאכותית, אך היא מנגנון מפתח לשיפור העמידות.

בעוד שמבקרי LLM כמו Yan LeCun אומרים שעדיין לא השגנו את האינטליגנציה של חתול, המחבר טוען שLLM יכולים ללמוד את הידע הזה בהינתן היכולת להשתפר באופן עצמי. הוא מאמין שזה ניתן להשגה עם טרנספורמרים והמרכיבים הנכונים.

המחבר בטוח למדי שניתן להשיג חשיבה מערכת 2 במסגרת פרדיגמת הטרנספורמר עם הטכנולוגיה והמחשוב הזמינים כעת. הוא חושד שנוכל לבנות מנגנון לחשיבה מערכת 2 יעילה בתוך 2-3 שנים, שיהווה רכיב מפתח בבניית סוכן בעל אינטליגנציה כללית.

לגבי גוף פיזי, המחבר אופטימי גם כן לגבי ההתקדמות בטווח הקרוב. הוא רואה התכנסות בין תחומי הרובוטיקה ומודלי השפה הגדולים, שעשויה להוביל להדגמות מרשימות בתוך 1-2 שנים הקרובות.

בתמצית, המחבר מאמין שפתרנו את בניית מודלי העולם, יש לנו 2-3 שנים לפתור את חשיבה מערכת 2, ו-1-2 שנים לפתור את הגוף הפיזי. לאחר שהמרכיבים המפתח האלה יהיו במקומם, שילובם יחד לתוך האלגוריתם המחזורי שתיאר עשוי לקחת עוד 1-2 שנים. ההערכה הנוכחית שלו לגבי AGI היא 3-5 שנים, נוטה לכיוון של 3 שנים לדבר המזכיר סוכן בעל אינטליגנציה כללית מגולם.

בעוד שמבקרי LLM כמו Yan LeCun אומרים שעדיין לא השגנו את האינטליגנציה של חתול, זהו הנקודה שהם מפספסים. כן, LLM עדיין חסרים ידע בסיסי שיש לכל חתול, אבל הם יכולים ללמוד את הידע הזה בהינתן היכולת להשתפר באופן עצמי. שיפור עצמי כזה ניתן להשגה עם טרנספורמרים והמרכיבים הנכונים.

אין דרך מוכרת היטב להשיג "חשיבה מערכת 2" - ההנמקה לטווח ארוך שמערכות AI זקוקות לה כדי להשיג יעדים ביעילות בעולם האמיתי. עם זאת, המחבר בטוח למדי שזה אפשרי במסגרת פרדיגמת הטרנספורמר עם הטכנולוגיה והמחשוב הזמינים. הוא צופה להתקדמות משמעותית בנושא זה בתוך 2-3 השנים הקרובות.

באופן דומה, המחבר אופטימי לגבי ההתקדמות בטווח הקרוב בתחום הגוף הפיזי. יש התכנסות בין תחומי הרובוטיקה ומודלי השפה הגדולים, כפי שניתן לראות בהדגמות מרשימות כמו הרובוט Digit האחרון. מודלי שפה גדולים יכולים למפות קלטים חושיים שרירותיים לפקודות עבור מערכות רובוטיות מתוחכמות.

המחבר בדק את ידיעות GPT-4 על העולם הפיזי על ידי אינטראקציה איתו דרך מצלמת הטלפון החכם. למרות שזה לא מושלם, זה מפתיע ביכולתו, והמחבר חושד שנראה התקדמות מרשימה בתוך 1-2 השנים הקרובות בהטמעת מערכות שיכולות לבצע שרשרות פעולות קוהרנטיות בסביבה ולצפות בתוצאות.

בתמצית, המחבר מאמין שפתרנו את בעיית בניית מודלי העולם, ויש לנו 2-3 שנים עד שנוכל להשיג חשיבה מערכת 2 יעילה, ובמקביל 1-2 שנים של התקדמות בתחום הגוף הפיזי. לאחר שהמרכיבים המפתח האלה יהיו במקומם, שילובם יחד יקח עוד 1-2 שנים.

בסיכום, ההערכה הנוכחית של המחבר לגבי AGI היא 3-5 שנים, כאשר הגרסה הראשונה תיראה כמו AGI בעוד 3 שנים, ולאחר מכן תהיה התייצבות נוספת כדי לשכנע אפילו את המבקרים הספקנים.

המחבר מדגיש את התפקיד הקריטי של "חשיבה מערכת 2" בבניית סוכנים בעלי אינטליגנציה כללית. חשיבה מערכת 2 מתייחסת למנגנון לביצוע אינטרוספקציה עמוקה והנמקה בנושאים שרירותיים, בניגוד ל"חשיבה מערכת 1" האינטואיטיבית יותר המסתמכת על תגובות אוטומטיות מהירות.

המחבר טוען שכדי שסוכן יהיה בעל אינטליגנציה כללית, עליו להיות בעל דרך ליצירת אינטראקציה וצפייה בסביבה (גוף פיזי), מודל עולם עמיד המכסה את הסביבה (אינטואיציה/חשיבה מערכת 1), ומנגנון לאינטרוספקציה עמוקה והנמקה (חשיבה מערכת 2).

בפרט, המחבר מצהיר שעם מודלי העולם הקיימים כעת, הוא חושד שהם מספיקים לבניית סוכן בעל אינטליגנציה כללית. עם זאת, הרכיב החסר המפתחי הוא היכולת של חשיבה מערכת 2. המחבר בטוח שניתן להשיג חשיבה מערכת 2 יעילה במסגרת פרדיגמת הטרנספורמר, בהינתן הטכנולוגיה והמחשוב הזמינים כעת.

המחבר מעריך שפיתוח מנגנון חשיבה מערכת 2 עמיד יקח 2-3 שנים. בשילוב עם 1-2 שנים לשיפור היכולות של גוף פיזי, המחבר צופה שנוכל לראות את הופעתו של סוכן בעל אינטליגנציה כללית ומגולם בתוך 3-5 שנים. זה יהווה אבן דרך משמעותית בדרך לעבר AGI.

המחבר מדגיש את החשיבות של חשיבה מערכת 2, וציין שזהו רכיב קריטי המאפשר לסוכנים לבצע מחזורים קוהרנטיים של תכנון, פעולה וצפייה לאורך זמן רב כדי לאופטם את יעדיהם. שיפור יכולת זו נתפס כאזור מיקוד עיקרי להשגת התקדמות משמעותית לעבר AGI.

המחבר מביע אופטימיות לגבי ההתקדמות בטווח הקרוב בהגשמת גוף פיזי למערכות AI. הוא מציין התכנסות המתרחשת בין תחומי הרובוטיקה ומודלי השפה הגדולים (LLM).

המחבר מדגיש הדגמות מרשימות לאחרונה, כמו הרובוט Figure ששילב את ידע GPT-4 עם