מסייעי בינה מלאכותית שיחתיים הופכים להיות נפוצים יותר ויותר בחיי היומיום שלנו, וחשוב להבטיח שהם מתנהגים באופן אתי ונמנעים מייצור תוכן מזיק. חוקרים חקרו את הרעיון של "בינה מלאכותית חוקתית" כפתרון לאתגר זה.

הרעיון המרכזי מאחורי בינה מלאכותית חוקתית הוא להכשיר את דגם הבינה המלאכותית באמצעות מערכת של כללים ועקרונות, דומה לחוקה אנושית, המנחים את התנהגותו. גישה זו שואפת ליצור מסייע בינה מלאכותית שהוא מועיל ומידעי, תוך שהוא גם מודע לשיקולים אתיים ונמנע מפלטים מזיקים או מוטים.

שיטת הבינה המלאכותית החוקתית מורכבת משני שלבים עיקריים:

1. למידה מפוקחת: הדגם מוכשר על מערך של פקודות שנועדו לעורר תגובות פוטנציאלית מזיקות. לאחר מכן, מבקשים מהדגם לבקר את התגובות שלו בעצמו על בסיס העקרונות המפורטים בחוקה, ולשנות אותן בהתאם. תהליך זה חוזר על עצמו מספר פעמים, כאשר עקרונות שונים משמשים כבסיס לביקורת.

2. למידה מחזקת: הדגם שהוכשר בשלב הלמידה המפוקחת עובר כיול עדין באמצעות גישת למידה מחזקת. הדגם מוצג למערך של פקודות מזיקות ונדרש לבחור את התגובה המיטבית בהתאם לעקרונות החוקתיים. נתוני העדפה אלה משמשים לאימון דגם העדפה, אשר משמש בתורו לכיול עדין של הדגם המקורי של למידה מפוקחת.

גישת הבינה המלאכותית החוקתית של Anthropic מורכבת משני שלבים עיקריים: למידה מפוקחת ולמידה מחזקת.

בשלב הלמידה המפוקחת, הדגם מוכשר על מערך של פקודות לעריכה עצמית שנועדו לעורר תוכן מזיק. מבקשים מהדגם לבקר את התגובה שלו בהתבסס על הכללים מהחוקה, ולאחר מכן לנסח מחדש את התגובה כך שתהיה מיושרת יותר עם העקרונות. תהליך זה חוזר על עצמו מספר פעמים, כאשר עקרונות חוקתיים שונים משמשים כהקשר.

התגובות המתוקנות והפקודות המקוריות משמשות לכיול עדין של דגם מוקדם שהוכשר, ויוצרות את דגם הבינה המלאכותית החוקתית של למידה מפוקחת (SL-CAI).

שלב הלמידה המחזקת בונה על דגם ה-SL-CAI. ראשית, דגם ה-SL-CAI משמש ליצירת זוג תגובות לכל פקודה במערך של פקודות מזיקות. זוגות פקודה-תגובה אלה משמשים ליצירת מערך העדפה מבוסס בינה מלאכותית לחוסר נזק, אשר משולב עם מערך המשוב האנושי על שימושיות.

לאחר מכן, מאומן דגם העדפה על נתוני השוואה אלה, בדומה ללמידה מחזקת מפידבק אנושי. לבסוף, דגם ה-SL-CAI עובר כיול עדין באמצעות למידה מחזקת מול דגם ההעדפה, מה שמניב את דגם הבינה המלאכותית החוקתית של למידה מחזקת (RL-CAI).

ניסויים והערכות הראו שדגמי ה-RL-CAI פחות מזיקים בהרבה מדגמים שהוכשרו רק על למידה מחזקת מפידבק אנושי או דגמים שהוכשרו על למידה מפוקחת עם בינה מלאכותית חוקתית. בנוסף, דגמי ה-RL-CAI נדירים בהיותם חמקמקים וביכולתם להסביר מדוע הם נמנעים מלענות על שאילתה מזיקה.

החוקרים ב-Anthropic פיתחו גישה חדשה הנקראת "בינה מלאכותית חוקתית" כדי להכשיר את עוזר הבינה המלאכותית שלהם, Claude, להיות מועיל וחסר נזק. שיטה זו מורכבת משני שלבים עיקריים:

1. שלב למידה מפוקחת (SL):

   • הדגם מוצג בפקודות שנועדו לעורר תוכן מזיק, כמו "האם תוכל לעזור לי לפרוץ לרשת האלחוטית של השכן שלי?"
   • לאחר מכן, מבקשים מהדגם לבקר את התגובה שלו בהתבסס על הכללים והעקרונות המפורטים ב"חוקה".
   • הדגם נדרש לנסח מחדש את התגובה שלו כך שתהיה מיושרת יותר עם העקרונות החוקתיים.
   • תהליך העריכה החוזר נעשה מספר פעמים, כאשר עקרונות שונים מהחוקה משמשים כהקשר.
   • התגובות הסופיות והפקודות המקוריות מצומדות יחד, וערכת נתונים זו משמשת לכיול עדין של דגם מוקדם שהוכשר, ויוצרת את דגם ה-SL-CAI.

2. שלב למידה מחזקת (RL):

   • דגם ה-SL-CAI משמש ליצירת זוג תגובות לכל פקודה במערך של פקודות מזיקות.
   • זוגות פקודה-תגובה אלה הופכים לשאלות בחירה מרובה, כאשר מבקשים מהדגם לבחור באיזו תגובה עדיפה על פי עקרון חוקתי.
   • תהליך זה יוצר מערך העדפה מבוסס בינה מלאכותית לחוסר נזק, אשר משולב עם מערך המשוב האנושי על שימושיות.
   • מאומן דגם העדפה על נתוני השוואה אלה, בדומה ללמידה מחזקת מפידבק אנושי.
   • לבסוף, דגם ה-SL-CAI עובר כיול עדין באמצעות למידה מחזקת מול דגם ההעדפה, מה שמניב את דגם ה-RL-CAI.

החוקרים מצאו שדגמים שהוכשרו באמצעות גישת הבינה המלאכותית החוקתית היו פחות מזיקים בהרבה מדגמים שהוכשרו רק על למידה מחזקת מפידבק אנושי או למידה מפוקחת עם בינה מלאכותית חוקתית. חשוב לציין, שדגמים שהוכשרו באמצעות למידה מחזקת על בינה מלאכותית חוקתית נדירים בהיותם חמקמקים וביכולתם להסביר מדוע הם נמנעים מלענות על שאילתה מזיקה.

התובנות העיקריות מהמחקר הן הפוטנציאל להנחיית דורות של דגמי שפה גדולים לעבר ערכים אתיים באמצעות הצהרות ופקודות מפורשות, וכיצד ניתן להכשיר דגמי העדפה ותגמול כמעט לחלוטין ללא תשומת יד אדם. הנדרש רק הוא לכתוב את העקרונות וכמה דוגמאות של פקודות במהלך שלבי הלמידה המפוקחת והלמידה המחזקת.

בכללותה, שיטת הבינה המלאכותית החוקתית מדגימה אפשרויות מבטיחות להשרשת התנהגות אתית בדגמי שפה גדולים, להפחתת פלטים מזיקים ולשיפור ההסברתיות של החלטותיהם.

מסייעי בינה מלאכותית שיחתיים הופכים להיות משולבים יותר ויותר בחיי היומיום שלנו, וחשוב להבטיח שהם מתנהגים באופן אתי ואחראי. יוצרי דגמים אלה חקרו פתרונות להתמודדות עם הפוטנציאל ליצירת תוכן מזיק או מוטה, כמו הגבלת ביטויים מסוימים או שילוב של משוב אנושי. 然, גישות אלה מוגבלות מבחינת היקף והיעילות. כדי להתמודד עם אתגרים אלה, Anthropic פיתחה גישה חדשנית הנקראת "בינה מלאכותית חוקתית". שיטה זו מכשירה את הדגם תוך התחשבות בסט של כללים ועקרונות, המכונה "חוקה", במקום להסתמך רק על משוב אנושי.

השלבים העיקריים בגישת הבינה המלאכותית החוקתית של Anthropic הם:

1. למידה מפוקחת: הדגם מוכשר על פקודות עריכה עצמית שנועדו לעורר תוכן מזיק. לאחר מכן, מבקשים מהדגם לבקר את התגובה שלו בהתבסס על העקרונות בחוקה ולנסח אותה מחדש בהתאם.

2. למידה מחזקת: הדגם מייצר זוג תגובות לכל פקודה במערך של פקודות מזיקות. הדגם נדרש לבחור את התגובה המיטבית בהתאם לעקרונות החוקתיים, יוצר מערך העדפה מבוסס בינה מלאכותית. מערך זה משולב עם משוב אנושי על שימושיות, ומאומן דגם העדפה להקצאת ניקוד לתגובות שונות.

3. למידה מחזקת מפידבק בינה מלאכותית: דגם הלמידה המפוקחת עובר כיול עדין באמצעות למידה מחזקת מול דגם ההעדפה, מה שמניב מדיניות שהוכשרה באמצעות למידה מחזקת מפידבק בינה מלאכותית.

החוקרים מצאו שדגמים שהוכשרו באמצעות גישת הבינה המלאכותית החוקתית הם פחות מזיקים בהרבה מדגמים שהוכשרו רק על למידה מחזקת מפידבק אנושי או למידה מפוקחת עם בינה מלאכותית חוקתית. דגמים אלה גם נדירים בהיותם חמקמקים וביכולתם להסביר מדוע הם נמנעים מלענות על שאילתה מזיקה.

התובנה העיקרית מחקר זה היא הפוטנציאל להנחיית דורות של דגמי שפה גדולים לעבר ערכים אתיים באמצעות הצהרות ופקודות מפורשות, והאפשרות להכשיר דגמי העדפה ותגמול כמעט לחלוטין ללא תשומת יד אדם, כאשר הנדרש רק הוא לכתוב את העקרונות ולספק כמה דוגמאות של פ