המכתב מדגיש מספר סיכונים חמורים הנשקפים מטכנולוגיית בינה מלאכותית מתקדמת:

• העמקת אי-השוויון הקיים
• שיבוש ומידע שגוי
• אובדן שליטה על מערכות בינה מלאכותית אוטונומיות, שעלול להוביל להכחדת האנושות
• גורמים רעים שמקבלים גישה בלתי מסוננת למודלי בינה מלאכותית עוצמתיים וגורמים לנזק משמעותי

המכתב קובע שסיכונים אלה הוכרו על ידי חברות בינה מלאכותית, ממשלות ומומחי בינה מלאכותית אחרים. עם זאת, לחברות בינה מלאכותית יש תמריצים כספיים חזקים להימנע מפיקוח יעיל, והמבנים הקיימים של ממשל תאגידי אינם מספיקים כדי להתמודד עם דאגות אלה.

המכתב קורא לחברות בינה מלאכותית להתחייב לעקרונות שיאפשרו לעובדים נוכחיים ולשעבר להעלות חששות הקשורים לסיכונים ללא חשש מתגמול או אובדן הטבות כלכליות שנצברו. הם גם מבקשים תהליך אנונימי ניתן לאימות להעלאת חששות אלה לדירקטוריון החברה, לרגולטורים ולארגונים עצמאיים.

באופן כללי, המכתב מדגיש את הצורך הדחוף בשקיפות, אחריותיות ופיקוח ציבורי גדולים יותר כדי להפחית את הסיכונים החמורים הנשקפים מטכנולוגיית בינה מלאכותית מתקדמת כפי שהיא ממשיכה להתפתח במהירות.

המכתב מדגיש את הסיכונים החמורים הנשקפים מטכנולוגיות בינה מלאכותית מתקדמות, החל מהעמקת אי-השוויון הקיים ועד לאובדן פוטנציאלי של שליטה על מערכות בינה מלאכותית אוטונומיות שעלולות להוביל להכחדת האנושות. המחברים מכירים בכך שבעוד שחברות בינה מלאכותית וממשלות הכירו בסיכונים אלה, ישנם תמריצים כספיים חזקים לחברות בינה מלאכותית להימנע מפיקוח יעיל.

המחברים טוענים שהמבנים הקיימים של ממשל תאגידי אינם מספיקים כדי להתמודד עם דאגות אלה, מכיוון שלחברות בינה מלאכותית יש מידע לא-ציבורי ניכר על יכולות, מגבלות ורמות הסיכון של המערכות שלהן, אך יש להן רק מחויבויות חלשות לשתף מידע זה עם ממשלות ואין להן כל מחויבות לחברה האזרחית.

המכתב קורא לחברות בינה מלאכותית להתחייב לעקרונות שיאפשרו שקיפות ואחריותיות גדולה יותר, כולל:

1. לא להיכנס או לאכוף כל הסכם האוסר על גינוי או ביקורת על החברה בנוגע לחששות הקשורים לסיכונים, ולא לנקום על ביקורת כזו על ידי פגיעה בכל הטבות כלכליות שנצברו.

2. לאפשר תהליך אנונימי ניתן לאימות עבור עובדים נוכחיים ולשעבר להעלות חששות הקשורים לסיכונים לדירקטוריון החברה, לרגולטורים ולארגונים עצמאיים מתאימים.

3. לתמוך בתרבות של ביקורת פתוחה ולאפשר לעובדים נוכחיים ולשעבר להעלות חששות הקשורים לסיכונים על טכנולוגיות החברה לציבור, לדירקטוריון החברה, לרגולטורים או לארגונים עצמאיים מתאימים, תוך הגנה על סודות מסחריים וזכויות קניין רוחני.

המחברים טוענים שצעדים אלה הכרחיים כדי להבטיח שניתן להפיק את ההטבות הפוטנציאליות של בינה מלאכותית תוך הפחתת הסיכונים החמורים הנשקפים מטכנולוגיות אלה. המכתב מדגיש את הצורך בפיקוח ובממשל יעילים כדי להתמודד עם האתגרים שמציגה ההתפתחות המהירה של מערכות בינה מלאכותית מתקדמות.

המכתב מדגיש את הסוגיות המדאיגות הקשורות למבני הממשל התאגידי של חברות בינה מלאכותית מובילות. הוא קובע שבעוד שחברות אלה מחזיקות במידע לא-ציבורי ניכר על יכולות, מגבלות וסיכונים של מערכות הבינה המלאכותית שלהן, כרגע יש להן רק מחויבויות חלשות לשתף מידע זה עם ממשלות והציבור.

המכתב טוען שלחברות בינה מלאכותית יש תמריצים כספיים חזקים להימנע מפיקוח יעיל, והמבנים הקיימים של ממשל תאגידי אינם מספיקים להתמודד עם כך. הוא מצביע על הדוגמה של OpenAI, שבה המבנה הייחודי של הדירקטוריון והעצמאות שלו אפשרו לו לקבל החלטות מבלי להתייעץ עם בעלי עניין, מה שהוביל להסרה פתאומית של המנכ"ל סם אלטמן. מקרה זה מדגיש את התוצאות של מבנה ממשל שאינו מאזן בין יעדים ארגוניים שונים ואינטרסים של בעלי עניין.

לעומת זאת, המכתב מצטט את המקרה של Anthropic, שפיתחה מודל ממשל שנועד לתמוך ביעדים הפיננסיים והייעודיים שלה באופן יעיל יותר. מבנה זה נועד למנוע את הסכסוכים שנראו ב-OpenAI על ידי שילוב של בקרות, איזונים והתחשבות בפרספקטיבות של בעלי עניין שונים.

המכתב מסכם בקריאה לחברות בינה מלאכותית להתחייב לעקרונות שיאפשרו תרבות של ביקורת פתוחה ויאפשרו לעובדים נוכחיים ולשעבר להעלות חששות הקשורים לסיכונים ללא חשש מתגמול או אובדן הטבות כלכליות שנצברו. זאת, טוענים המחברים, הכרחי כדי להבטיח פיקוח ואחריותיות ציבורית הולמים לפיתוח מערכות בינה מלאכותית מתקדמות.

המכתב מדגיש את הצורך הקריטי בשקיפות ובהגנות לעובדים בפיתוח של מערכות בינה מלאכותית מתקדמות. נקודות עיקריות:

• לחברות בינה מלאכותית יש מידע לא-ציבורי ניכר על יכולות, מגבלות וסיכונים של המערכות שלהן, אך יש להן מחויבויות חלשות לשתף מידע זה עם ממשלות והציבור.

• המבנים הקיימים של ממשל תאגידי אינם מספיקים כדי להתמודד באופן הולם עם סיכונים אלה, מכיוון שלחברות בינה מלאכותית יש תמריצים כספיים חזקים להימנע מפיקוח יעיל.

• הסכמי סודיות רחבים חוסמים את היכולת של עובדים נוכחיים ולשעבר להביע את דאגותיהם, מכיוון שהם מסכנים לאבד פיצויים הוניים משמעותיים אם יביעו ביקורת.

• המכתב קורא לחברות בינה מלאכותית להתחייב לעקרונות שמגנים על יכולת העובדים להעלות ביקורת הקשורה לסיכונים ללא תגמול, ולאפשר דיווח אנונימי על חששות לדירקטוריון החברה, לרגולטורים ולמומחים עצמאיים.

• תהליכים שקופים וניתנים לחשבון דין הם חיוניים להבטחת הפיתוח האחראי של טכנולוגיות בינה מלאכותית מהפכניות שעלולות להוות סיכון קיומי לאנושות. העצמת העובדים לדון בנושאים אלה באופן פתוח היא צעד חיוני.

המכתב מעובדים נוכחיים ולשעבר בחברות בינה מלאכותית מובילות קורא לחברות בינה מלאכותית מתקדמות להתחייב למספר עקרונות עיקריים:

1. אין הסכמי גינוי: החברות לא יכנסו או יאכפו כל הסכם האוסר על גינוי או ביקורת על החברה בנוגע לחששות הקשורים לסיכונים.

2. אין תגמול: החברות לא יגמלו עובדים על העלאת ביקורת הקשורה לסיכונים על ידי פגיעה בכל הטבות כלכליות שנצברו.

3. תהליך דיווח אנונימי: החברות יאפשרו תהליך אנונימי ניתן לאימות עבור עובדים נוכחיים ולשעבר להעלות חששות הקשורים לסיכונים לדירקטוריון החברה, לרגולטורים ולארגונים עצמאיים מתאימים.

4. תרבות של ביקורת פתוחה: החברות יתמכו בתרבות של ביקורת פתוחה ויאפשרו לעובדים נוכחיים ולשעבר להעלות חששות הקשורים לסיכונים על טכנולוגיות החברה לציבור, לדירקטוריון החברה, לרגולטורים או לארגונים עצמאיים מתאימים, תוך הגנה על סודות מסחריים וזכויות קניין רוחני.

המכתב טוען שעקרונות אלה הכרחיים מכיוון שלחברות בינה מלאכותית יש כרגע תמריצים כספיים חזקים להימנע מפיקוח יעיל, והמבנים הקיימים של ממשל תאגידי אינם מספיקים להתמודד עם הסיכונים החמורים הנשקפים ממערכות בינה מלאכותית מתקדמות. על ידי התחייבות לעקרונות אתיים אלה, המכתב קובע שחברות בינה מלאכותית יכולות לסייע להבטיח שקיפות ואחריותיות סביב פיתוח טכנולוגיות בינה מלאכותית מהפכניות.

המכתב "הזכות להזהיר על בינה מלאכותית מתקדמת" מעלה חששות משמעותיים לגבי הסיכונים הפוטנציאליים הנשקפים ממערכות בינה מלאכותית מתקדמות, כולל העמקת אי-השוויון הקיים, שיבוש ומידע שגוי, ואובדן שליט