השיחה בעיר התמקדה מקבוצות מחשוב בהיקף של 10 מיליארד לקבוצות מחשוב בהיקף של מאות מיליארדים ואפילו לקבוצות במיליארדי דולרים. כל 6 חודשים מתווספת עוד אפס לתכניות החדר הישיבות. מרוץ ה-AGI החל. אנו בונים מכונות שיכולות לחשוב ולהסיק, ובשנים 2025-2026 מכונות אלה יעקפו בוגרי אוניברסיטה. עד סוף העשור, הן יהיו חכמות יותר ממך או ממני, ונקבל בינה על-אנושית במובן המלא של המילה.

לאורך הדרך, יושמו כוחות ביטחון לאומיים שלא נראו במשך חצי מאה. לפני לא מכבר, העולם יתעורר, אך כרגע, ישנם אולי מאות אנשים בודדים, רובם בסן פרנסיסקו ובמעבדות ה-AI, שבאמת מודעים למצב. באמצעות כוחות או גורלות מוזרים כלשהם, מצאתי את עצמי ביניהם, וזה הופך את המסמך הזה לחשוב כל כך.

החיזוי שלי לגבי ה-AGI - ה-AGI עד 2027 הוא הגיוני מאוד. מ-GPT-2 ל-GPT-4 עברנו מיכולות של ילד בגיל הגן לתלמיד תיכון חכם בתוך 4 שנים בלבד. אם נעקוב אחר קווי המגמה של חישוב, יעילות אלגוריתמית ו"שחרור" של הישגים, אנו צריכים לצפות לקפיצה איכותית נוספת מגודל של ילד בגיל הגן לתלמיד תיכון עד 2027.

אני טוען שהוא הגיוני מאוד שעד 2027, דגמים יוכלו לבצע את עבודת חוקר ה-AI או מהנדס התוכנה. זה לא דורש להאמין במדע בדיוני, רק להאמין בקווים ישרים על גרף. סקלה האפקטיבית של החישוב מ-GPT-2 ל-GPT-4 מראה מגמה ברורה, ואני מאמין שהצמיחה תהיה אפילו תלולה יותר בשנים הקרובות.

מגבלות הדגמים הנוכחיים נובעות מדרכים ברורות שבהן הם עדיין "מוגבלים" ומוגבלים באופן מלאכותי. ברגע שמגבלות אלה יוסרו, האינטליגנציה הגולמית מאחורי הדגמים תשתחרר, מה שיוביל להתקדמות מהירה. אנו כבר מתקשים למצוא בנצ'מרקים, כאשר GPT-4 שובר את רוב בחינות הכישורים התיכוניים והאוניברסיטאיים הסטנדרטיות.

הקסם של למידה עמוקה הוא שקווי המגמה היו עקביים באופן מדהים. ספירה מהימנה של סדרי הגודל בהכשרת דגמים אלה מאפשרת לנו להעריך שיפורים ביכולות. יעילות אלגוריתמית ו"שחרור" של הישגים יניעו את רוב ההתקדמות, ובכך יהיה ניתן להכשיר דגם ברמת GPT-4 בתוך דקה בלבד עד 2027. 然, אבטחת הסודות האלגוריתמיים ומשקלות הדגם תהיה קריטית, שכן כשל בכך עלול להוביל לדליפת פריצות מפתח ב-AGI לאויבים בתוך 12-24 החודשים הקרובים. שליטה מהימנה על מערכות AI חכמות בהרבה מבני אדם היא בעיה טכנית לא פתורה, וכשל עלול להיות קטסטרופלי. המעבר לבינה על-אנושית צפוי להיות מהיר, עם לחצים חריגים להשיג את היישור הנכון.

החיזוי שלי לגבי ה-AGI: ה-AGI עד 2027 הוא הגיוני מאוד. מ-GPT-2 ל-GPT-4 עברנו מיכולות של ילד בגיל הגן לתלמיד תיכון חכם בתוך 4 שנים בלבד. אם נעקוב אחר קווי המגמה של חישוב, יעילות אלגוריתמית ו"שחרור" של הישגים, אנו צריכים לצפות לקפיצה איכותית נוספת מגודל של ילד בגיל הגן לתלמיד תיכון עד 2027.

אני טוען את הטענה הבאה: הוא הגיוני מאוד שעד 2027, דגמים יוכלו לבצע את עבודת חוקר ה-AI/מהנדס תוכנה. זה לא דורש להאמין במדע בדיוני, רק להאמין בקווים ישרים על גרף.

הגרף של הסקלה הבסיסית של החישוב האפקטיבי, מספירה מ-GPT-2 ל-GPT-4, מראה קו מגמה ברור. במהלך 2022-2023 היה תקופה של מודעות מוגברת סביב GPT-3 ו-GPT-4, מה שהפך את האור הזרקור על עידן ה-AI. GPT-4 ו-ChatGPT 3.5 היו מוצרים בפועל שהועמדו לרשות הציבור, מה שהצית פיצוץ של עניין והשקעה ב-AI.

זה מרמז שעקום הצמיחה מ-2024 עד 2028 עשוי להיות אפילו תלול יותר מהתקופה הקודמת. להיות עם מהנדס מחקר AI אוטומטי עד 2027-2028 אינו נראה רחוק מדי נוכח מגמות החישוב. ההשלכות הן קשות - אם נוכל לאוטומט את מחקר ה-AI, לא ייקח זמן רב להגיע לבינה על-אנושית, שכן זה יאפשר שיפור עצמי רקורסיבי.

עדיין, כמעט אף אחד לא מתמחר את זה. המודעות למצב ב-AI למעשה לא כל כך קשה אם אתה מסתכל אחורה ורואה את המגמות. אם אתה ממשיך להיות מופתע מיכולות ה-AI, פשוט התחל לספור את סדרי הגודל.

הצמיחה ביכולות ה-AI בשנים האחרונות הייתה אקספוננציאלית, כאשר כל דור חדש של דגמים מציג התקדמות מרשימה.

מ-GPT-2 ל-GPT-4, עדינו התקדמות מהירה הדומה לזו של ילד בגיל הגן לתלמיד תיכון חכם בתוך 4 שנים בלבד. מגמה זו צפויה להמשיך, כאשר החיזוי הוא שעד 2027, דגמי AI יוכלו לבצע את עבודת חוקר ה-AI או מהנדס התוכנה.

המניעים המרכזיים מאחורי התקדמות אקספוננציאלית זו הם:

1. סקלה של חישוב: החישוב האפקטיבי המשמש להכשרת דגמים אלה גדל באופן דרמטי, תוך מעקב אחר קו מגמה עקבי. זה מאפשר להכשיר דגמים גדולים ויותר מתקדמים.

2. יעילות אלגוריתמית: התקדמויות אלגוריתמיות הובילו לשיפורים משמעותיים ביעילות של דגמים אלה, כאשר העלות להשגת 50% מדיוק בבנצ'מרק המתמטי ירדה בקרוב ל-3 סדרי גודל בפחות מ-2 שנים.

3. שחרור של יכולות נסתרות: טכניקות כמו שרשרת של הרהורים והקמה עזרו לשחרר את היכולות הנסתרות של דגמים אלה, מאפשרות להם לבצע משימות הרבה מעבר להכשרה המקורית שלהם.

ההשלכות של צמיחה אקספוננציאלית זו הן עמוקות. אם מערכות AI יוכלו לאוטומט את עבודת חוקרי ה-AI, זה יפעיל משוב עצמי עז, כאשר מערכות ה-AI ישפרו את עצמן בקצב מהיר. זה עלול להוביל להופעה של בינה כללית מלאכותית (AGI) ובינה על-אנושית בתוך העשור הקרוב. 然, התקדמות מהירה זו מגיעה גם עם סיכונים וקשיים משמעותיים, בפרט סביב יישור מערכות עצמתיות אלה עם ערכים אנושיים והפוטנציאל לשימוש לרעה על ידי גורמים זדוניים. הבטחת התשתית המחקרית והבטחת הפיתוח הבטוח של טכנולוגיות אלה יהיו קריטיים בשנים הבאות.

הקסם של למידה עמוקה הוא שזה פשוט עובד, וקווי המגמה היו עקביים באופן מדהים למרות המבקרים בכל פעם. אנו יכולים לראות שכאשר החישוב מסתמן, האיכות והעקביות של התפוקות משתפרות באופן דרמטי.

בעוד שהשקעות עצומות בחישוב מקבלות את כל תשומת הלב, ההתקדמות האלגוריתמית היא גם מניע חשוב של התקדמות והיא מוערכת בצורה דרמטית. כדי לראות עד כמה גדול העניין של התקדמות אלגוריתמית, שקלו את ההמחשה הבאה - הירידה במחיר להשגת 50% מדיוק בבנצ'מרק המתמטי במשך 2 שנים בלבד. לשם השוואה, תלמיד דוקטורט במדעי המחשב שלא אהב במיוחד מתמטיקה ציון 40%, כך שזה כבר די טוב. היעילות ההיסקית השתפרה בקרוב ל-3 סדרי גודל או 1,000 פעמים בפחות מ-2 שנים.

יעילויות אלגוריתמיות אלה יניעו הרבה יותר הישגים ממה שאתה חושב. יש מאות מאמרי מחקר המתפרסמים מדי יום שמשחררים 10-30% של הישגים. כאשר אתה מצרף את כל השיפורים הקטנים האלה, ההתקדמות הכוללת יכולה להיות מדהימה.

בנוסף, "שחרור" של הדגמים - הסרת המגבלות המלאכותיות על יכולותיהם - יכול לשחרר יכולות נסתרות משמעותיות. לדוגמה, כאשר GPT-4 משמש עם הרהורי שרשרת, הביצועים שלו בחלק מהמשימות משתפרים באופן דרמטי. הנתונים הגולמיים והידע בדגמים האלה לעתים קרובות גדולים הרבה יותר מהפלטים הראשוניים שלהם מציעים.

כלים ומבנים שעוזרים לדגמים לנצל את היכולות המלאות שלהם הם גם קריטיים. תארו לעצמכם אם לא היה מ