החוקר שעזב לאחרונה את OpenAI הביע חששות חמורים לגבי העדיפויות של החברה, תוך שהוא מצהיר שיש צורך דחוף לגבש דרך לכוון ולשלוט במערכות בינה מלאכותית חכמות הרבה יותר מבני אדם. הוא הצטרף אל OpenAI מכיוון שהאמין שזה יהיה המקום הטוב ביותר לבצע מחקר חיוני זה, אך חלק עם הנהלת החברה על העדיפויות המרכזיות שלה במשך זמן רב.

החוקר סבור שיש להקדיש יותר מהמשאבים של OpenAI לביטחון, ניטור, כוננות, בטיחות, עמידות בפני התקפות, יישור על-אנושי, סודיות והשפעה חברתית. הוא מודאג שהמגמה הנוכחית אינה על המסלול הנכון כדי לפתור בעיות אלה, שכן תרבות ותהליכי הבטיחות נדחקו לשוליים לטובת פיתוח מוצרים.

בניית מכונות חכמות יותר מבני אדם היא מפעל מסוכן מטבעו, וOpenAI נושאת באחריות עצומה בשם כל האנושות. החוקר מצהיר שאנו מאחרים מזמן להתייחס ברצינות רבה לשלכות של בינה מלאכותית כללית, ועלינו להעדיף את ההכנה להן ככל שנוכל, כדי להבטיח שבינה מלאכותית כללית תועיל לכל האנושות.

החוקר מסכם שעל OpenAI להפוך ל"חברת בינה מלאכותית כללית שבה הבטיחות היא העדיפות הראשונה" אם היא רוצה להצליח, שכן העדיפויות הנוכחיות אינן מיושרות עם הצורך הדחוף לכוון ולשלוט במערכות בינה מלאכותית חזקות אלה.

ברור שלאורך זמן העבודה ב-OpenAI, ג'אן לייקה חלק עם הנהלת החברה על העדיפויות המרכזיות שלה במשך זמן רב. זה לא היה חילוקי דעות חד-פעמיים, אלא סוגיה ארוכת טווח שבה לייקה הרגיש שהחברה לא מעדיפה את נושאי הבטיחות והביטחון במידה שהוא חשב שהיא הכרחית.

לייקה מצהיר שהוא הצטרף אל OpenAI מכיוון שחשב שזה יהיה המקום הטוב ביותר לבצע מחקר חיוני על יישור מערכות בינה מלאכותית מתקדמות. עם זאת, הוא הגיע ל"נקודת שבירה" שבה לא יכול היה עוד להסכים עם כיוון ועדיפויות החברה.

לייקה סבור שיש להקדיש יותר משאבים וממוקדות של OpenAI להכנה לדורות הבאים של דגמי בינה מלאכותית, בפרט בתחומים כמו ביטחון, בטיחות, יישור, סודיות והשפעה חברתית. הוא מודאג שOpenAI אינה כרגע על המסלול הנכון להתמודד עם סוגיות קריטיות אלה.

החוקר אומר שבמהלך החודשים האחרונים, צוותו "שט נגד הרוח" וניסה בקושי להשיג את משאבי המחשוב הדרושים לבצע את מחקר הבטיחות החשוב שלהם. זה מרמז שOpenAI לא הקצתה משאבים מספיקים לעבודת צוות היישור.

במהלך החודשים האחרונים, הצוות העובד על מחקר הבטיחות ב-OpenAI היה "שט נגד הרוח". הם נאבקו להשיג את משאבי המחשוב הדרושים לבצע את המחקר החיוני שלהם, מה שהפך את ההתקדמות קשה יותר ויותר.

הפוסט מציין שהצוות הוקצה רק ל-20% מסך משאבי המחשוב של OpenAI, כאשר 80% הנותרים הוקצו לפרויקטים אחרים. עם זאת, אפילו ה-20% שהוקצו לא היו תמיד זמינים, מה שהוביל לעיכובים בעבודתם. המחסור החמור במשאבי מחשוב פגע קשות ביכולת הצוות לחקור לעומק את בטיחות והיישור של מערכות בינה מלאכותית מתקדמות. ללא המשאבים הדרושים, הם לא יכלו לבצע את המחקר שראו אותו הכרחי להבטחת הפיתוח הבטוח של יכולות בינה מלאכותית מהפכניות.

מחסור זה במשאבי מחשוב הוא דאגה משמעותית, שכן הפוסט מדגיש את הצורך הדחוף לגבש דרך לכוון ולשלוט במערכות בינה מלאכותית חכמות הרבה יותר מבני אדם. עזיבת צוות מחקר הבטיחות מרמזת שOpenAI לא הצליחה להעדיף עבודה חיונית זו, מה שעלול לסכן את פיתוח בינה מלאכותית מתקדמת.

בניית מכונות חכמות יותר מבני אדם היא מפעל מסוכן מטבעו. OpenAI נושאת באחריות עצומה בשם כל האנושות. עם זאת, במהלך השנים האחרונות, תרבות ותהליכי הבטיחות נדחקו לשוליים לטובת פיתוח מוצרים.

אנו מאחרים מזמן להתייחס ברצינות רבה לשלכות של בינה מלאכותית כללית. עלינו להעדיף את ההכנה להן ככל שנוכל, רק אז נוכל להבטיח שבינה מלאכותית כללית תועיל לכל האנושות. OpenAI חייבת להפוך ל"חברת בינה מלאכותית כללית שבה הבטיחות היא העדיפות הראשונה" אם הם רוצים להצליח. כשל בכך מסכן בתוצאות קטסטרופליות שעלולות להשפיע על כולם.

פירוק צוות OpenAI שהתמקד בסיכוני בינה מלאכותית ארוכי טווח, יחד עם עזיבת מנהיגים מרכזיים, הוא התפתחות מדאיגה. זה מרמז שהבטיחות אינה העדיפות העליונה, חרף הצורך הדחוף להתמודד עם אתגרים קריטיים אלה. שינויים משמעותיים נדרשים כדי להעמיד את OpenAI על מסלול לפיתוח בטוח של מערכות בינה מלאכותית מתקדמות שיועילו לאנושות בכללותה.

עזיבת חוקרים מרכזיים מOpenAI, כולל אליה סוצקבר וג'אן לייקה, מדגישה מגמה מדאיגה בתוך החברה. על פי הפרוטוקול, סוצקבר מצהיר שבמהלך השנים האחרונות, "תרבות ותהליכי הבטיחות נדחקו לשוליים לטובת מוצרים" ב-OpenAI.

זה מרמז שהמיקוד של החברה התרחק מלהעדיף את הבטיחות והפיתוח האחראי של מערכות הבינה המלאכותית המתקדמות שלהם, לטובת איטרציה ופריסה מהירה של מוצרים. סוצקבר מביע את אמונתו שעל OpenAI להפוך ל"חברת בינה מלאכותית כללית שבה הבטיחות היא העדיפות הראשונה" אם הם רוצים להצליח, מה שמרמז שהמסלול הנוכחי שלהם אינו מיושר עם חיוניות זו.

פירוק צוות OpenAI שהתמקד בסיכוני בינה מלאכותית ארוכי טווח, פחות מ שנה לאחר ההכרזה עליו, מדגיש נוסף את השינוי בעדיפויות. צעד זה, יחד עם עזיבת חוקרי בטיחות מרכזיים, מצייר תמונה מדאיגה של מחויבות OpenAI להתמודד עם הסכנות הטבועות בבניית "מכונות חכמות יותר מבני אדם".

אזהרתו של סוצקבר שאנו "מאחרים מזמן" להתייחס "ברצינות רבה לשלכות של בינה מלאכותית כללית" מדגישה את הדחיפות של סוגיה זו. האחריות שOpenAI נושאת בשם האנושות מחייבת מיקוד נחוש על בטיחות והכנה, במקום לחץ לפיתוח מוצרים.

עזיבת חוקרים מרכזיים מOpenAI בשל חששות בנוגע לבטיחות היא סימן ברור שהחברה חייבת להפוך את בטיחות בינה מלאכותית והכנה לעדיפות העליונה שלה. כפי שג'אן לייקה מצהיר, "אנו זקוקים בדחיפות לגבש דרך לכוון ולשלוט במערכות בינה מלאכותית חכמות הרבה יותר מאיתנו".

העובדה שלייקה ואחרים "חלקו עם הנהלת OpenAI על העדיפויות המרכזיות של החברה במשך זמן רב" היא מדאיגה מאוד. זה מרמז שתרבות ותהליכי הבטיחות נדחקו לשוליים לטובת פיתוח מוצרים מהיר על חשבון מחקר חיוני על יישור בינה מלאכותית, ביטחון והשפעה חברתית.

לייקה צודק כשהוא מצביע על כך ש"בניית מכונות חכמות יותר מבני אדם היא מפעל מסוכן מטבעו" וש-OpenAI "נושאת באחריות עצומה בשם כל האנושות". החברה חייבת להקשיב לאזהרה הזו ולבצע שינוי דרמטי להפוך ל"חברת בינה מלאכותית כללית שבה הבטיחות היא העדיפות הראשונה" אם היא רוצה להצליח בפיתוח מערכות בינה מלאכותית מהפכניות בבטחה.

כפי שלייקה מצהיר, אנו "מאחרים מזמן" להתייחס ברצינות לשלכות של בינה מלאכותית מתקדמת. העדפת ההכנה לאתגרים של מערכות בינה מלאכותית כללית פוטנציאליות היא חיונית להבטחה שהן יועילו לכל האנושות, במקום להוות סיכונים קיומיים. OpenAI חייבת להקדיש הרבה יותר ממשאביה ומיקודה לסוגיות קריטיות אלה, אפילו אם זה אומר להאט את הקצב של החדשנות לטווח הקצר.

פירוק צוות OpenAI שהתמקד בסיכוני בינה מלאכותית ארוכי טווח הוא התפתחות מדאיגה מאוד המחייבת פעולה מיידית. בניית מחדש והעצמת מאמץ מחקר חיוני זה חייבת להיות עדיפות עליונה. כש