בראיון זה, סם אולטמן, המנכ"ל לשעבר של OpenAI, סיפק מספר תובנות לגבי מאמצי החברה לשפר את היעילות של הנתונים של דגמי השפה שלהם. אולטמן רמז על פיתוח של ארכיטקטורה או שיטה חדשה שעשויה לעזור ל-OpenAI להתגבר על מגבלות בהשגת נתונים באיכות גבוהה לאימון של הדגמים שלהם.

אולטמן הכיר בכך שבעוד שהם יצרו כמויות גדולות של נתונים סינתטיים לניסויים, המטרה שלהם היא למצוא דרכים "ללמוד יותר מנתונים מעטים יותר". הוא הציע ש"הדרך הטובה ביותר לאמן דגם" עשויה להיות לא פשוט לייצר כמויות עצומות של נתונים סינתטיים, אלא לפתח טכניקות שיאפשרו לדגמים ללמוד ביעילות רבה יותר מקבצי נתונים קטנים יותר.

זה מתיישב עם המידע מהמאמר הקודם, שציין ש"הפריצה" של אולטמן אפשרה ל-OpenAI להתגבר על מגבלות בהשגת מספיק נתונים באיכות גבוהה לאימון של דגמים חדשים. הערותיו של אולטמן מרמזות שהחברה התקדמה בתחום זה, אולי באמצעות פיתוח של ארכיטקטורה חדשה או טכניקות יעילות של נתונים.

סם אולטמן מכיר בכך שהופעת מערכות בינה מלאכותית מתקדמות, שעשויות להגיע לרמות של AGI (בינה מלאכותית כללית), כנראה יצריכו שינויים בחוזה החברתי לאורך זמן רב. הוא צופה שהמודל הכלכלי המבוסס על עבודה הנוכחי, שבו אנשים מחליפים את עבודתם בתמורה להכנסה, יצטרך להיות מתוכנן מחדש ככל שטכנולוגיות חזקות אלה הופכות נפוצות יותר.

אולטמן מציין שכפי שהעולם הופך עשיר יותר באמצעות התקדמות טכנולוגית, כבר היו שינויים במרשתות הביטחון החברתי ובאופן שבו החברה מארגנת את עצמה. הוא צופה שדיונים ותיקונים דומים יתרחשו ככל שAGI הופך למציאות, בהובלת חברות הדגמים השפתיים הגדולות בחזית טכנולוגיה זו.

רעיון אפשרי אחד שאולטמן מזכיר הוא הרעיון של "חישוב בסיסי אוניברסלי", שבו כל אחד עשוי לקבל הקצאה מסוימת של משאבי מחשוב ממערכת ברמת AGI, במקום להסתמך רק על הכנסה כספית. שינוי זה עשוי לשנות באופן יסודי את האופן שבו הכלכלה והחברה פועלות, שכן ערך של משאבי מחשוב אלה עשוי להפוך חשוב יותר מהמטבע המסורתי.

מנכ"ל OpenAI, סם אולטמן, סיפק מספר תובנות לגבי תוכניות החברה לדור הבא של דגמי שפה בראיון לאחרונה. להלן הנקודות העיקריות:

1. יעילות נתונים: אולטמן רמז על פריצות דרך בהפיכת דגמי שפה ליעילים יותר בשימוש בנתונים, מאפשרים להם ללמוד מכמויות קטנות יותר של נתונים באיכות גבוהה, במקום להסתמך על כמויות עצומות של נתונים סינתטיים. זה עשוי להוביל לשיפורים משמעותיים בביצועי הדגמים.

2. חידושים ארכיטקטוניים: בעוד שאולטמן היה זהיר בחשיפת פרטים ספציפיים, הוא הציע שOpenAI עובדת על ארכיטקטורה או שיטה חדשה שעשויה לשפר עוד את יעילות הנתונים של הדגמים שלהם.

3. שיפורים איכותיים: אולטמן צופה שהדור הבא של הדגמים יציג שיפורים מפתיעים בתחומים שלא נחשבו אפשריים בעבר. הוא מזהיר מהסתמכות בלעדית על ציוני בקרה סטנדרטיים, שכן ההתקדמות האמיתית עשויה להיות בהיבטים איכותיים יותר שקשה למדוד.

4. השלכות חברתיות וכלכליות: אולטמן מכיר בכך שהיכולות הגוברות של דגמי השפה עשויות לדרוש שינויים בחוזה החברתי, שכן המודל הכלכלי המבוסס על עבודה המסורתי עשוי להזדקק לתיכנון מחדש. הוא מציע לחקור רעיונות כמו "חישוב בסיסי אוניברסלי" כדי להתמודד עם ההפרעות הפוטנציאליות.

5. פיתוח אחראי: אולטמן מדגיש את החשיבות של מחקר ופיתוח אחראיים, תוך התמקדות בהבנת הפנימיות של הדגמים ושיקולי בטיחות לפני שחרור של מערכות חזקות יותר.

באופן כללי, הערותיו של אולטמן מרמזות שOpenAI עושה התקדמות משמעותית בקידום יכולות דגמי השפה, תוך התמודדות גם עם ההשלכות החברתיות הרחבות יותר של התקדמויות אלה. הדור הבא של הדגמים צפוי לדחוף את הגבולות של מה שניתן להשיג כרגע, אך תוך התמקדות בפיתוח אחראי ובשיקול של ההשפעה ארוכת הטווח על הכלכלה והמבנים החברתיים.

סם אולטמן חולק עם הלן טונייס חילוקי דעות משמעותיים אך נימוסיים לגבי זכרונה של האירועים בנוגע לעזיבתו מ-OpenAI. בעוד שטונייס היא אדם שמתעניין באמת בתוצאה טובה של בינה מלאכותית, אולטמן מאחל לה את המיטב אך אינו רוצה להיכנס להגנה על המוניטין שלו שורה אחר שורה.

כאשר OpenAI שחררה את ChatGPT, זה נקרא "תצוגה מחקרית בעלת פרופיל נמוך" באותו זמן, והם לא ציפו לרמת התגובה שקיבלו. אולטמן מצהיר שהם דנו בתוכנית שחרור עם הדירקטוריון שלהם, מאחר שהיה להם GPT-3.5 זמין במשך כ-8 חודשים וסיימו את האימון של GPT-4 מזמן, עובדים על תוכנית שחרור הדרגתית.

באופן כללי, אולטמן חולק על זכרונה של טונייס ומאמין שחשוב לספק את צדו של הסיפור, נוכח הדרמה המשמעותית הסובבת את עזיבתו מ-OpenAI.

סם אולטמן התייחס לפרשת סקרלט ג'והנסון, שבה הטענה שהשחקנית טענה שOpenAI השתמשה בקולה ללא רשות. אולטמן הבהיר שהקול ששימש לא היה של ג'והנסון, וכי ל-OpenAI היה תהליך של אודישנים לשחקנים מרובים לפני שבחרו בחמישה קולות, כאשר ג'והנסון התבקשה להיות השישית. עם זאת, אולטמן הכיר בבלבול סביב הדמיון של הקול ששימש לזה של ג'והנסון.

אולטמן דן גם בעבודת OpenAI על מחקר פרשנות, שמטרתו להבין את תהליך קבלת ההחלטות בתוך דגמי הבינה המלאכותית שלהם. הוא ציין שבעוד שהם לא פתרו את בעיית הפרשנות, הם התקדמו והרואים אותה כחלק חשוב מהבטחת בטיחות של הדגמים שלהם. אולטמן הדגיש שגם אם אנו לא מבינים לחלוטין את הפעולה הפנימית של המוח האנושי, אנו יכולים עדיין לפתח דרכים להבין ולאמת את התנהגות מערכות הבינה המלאכותית. הוא הציע שככל שנוכל להבין יותר מה קורה בתוך הדגמים האלה, כך נוכל לייצר ולאמת טענות בטיחות טובות יותר.