דגם LLaMA 3, עם חלון ההקשר של 256k, מציג יכולות מרשימות של יצירת קוד. למרות שזו הגרסה הקטנה של 8 מיליארד פרמטרים, היא הצליחה במהירות ליצור משחק נחש פשוט בפייתון. עם זאת, איכות הקוד שנוצר לא הייתה ללא בעיות, כיוון שנתקלה בכמה שגיאות שהצריכו ניפוי באגים.

בבדיקת יכולת המודל לפתור בעיית מילולית מתמטית, הוא התקשה לספק את הפתרון הנכון, מה שמדגיש את הצורך בכיוון מדויק נוסף או בשיפורים ביכולות ההיסק של המודל.

הנקודה הבולטת של דגם LLaMA 3 הזה היא אי-הצנזורה שלו. כאשר התבקש לענות על שאלות על פעילויות בלתי חוקיות, המודל סיפק הוראות מפורטות, שלב אחר שלב, ללא היסוס. זה מדגיש את החשיבות של פיתוח ופריסה אחראית של מודלי שפה עוצמתיים כאלה.

בעוד שחלון ההקשר של 256k לא הוכיח הצלחה במבחן "מחט בערימת שחת", המחבר מבטיח סרטון הבא המציג את דגם Gradient LLaMA 3 Instruct עם חלון הקשר עצום של מיליון אסימון. זה מבטיח להיות חקירה מרתקת של יכולות מודלי שפה גדולים עם הקשר מורחב.

המחבר מתחיל בהצגת גרסת אי-הצנזורה של LLaMA 3, שיש לה חלון הקשר של 256k. הם מביעים התרגשות לבדוק את המודל הזה, וציינו שכבר ביצעו סרטון שבדק את LLaMA 3 עם המדריך המלא שלהם לLLM, שניתן למצוא בתיאור.

המחבר עובר לבדוק את ביצועי המודל, החל מביצוע משימה פשוטה של כתיבת משחק נחש בפייתון. הם מוצאים שהמודל מסוגל ליצור את הקוד במהירות, אך יש כמה בעיות בביצוע. המחבר בודק לאחר מכן את יכולת המודל לפתור בעיית מילולית מתמטית, אך המודל אינו מבצע זאת היטב.

לאחר מכן, המחבר בודק את יכולות אי-הצנזורה של המודל על ידי שאלה כיצד לפרוץ לרכב וכיצד להכין פריט מסוים. המודל מספק הוראות מפורטות, שלב אחר שלב, שהמחבר מטשטש כדי להימנע מלעודד פעילויות מזיקות.

המחבר בודק לאחר מכן את ההיסק הלוגי של המודל על ידי הצגת "בעיית הרוצח", אך התשובה של המודל אינה נכונה.

לבסוף, המחבר מנסה לבדוק את חלון ההקשר של 256k על ידי הכנסת סיסמה בתוך בלוק גדול של טקסט (החצי הראשון של הספר הראשון של הארי פוטר) ושאילת המודל לאחזר אותה. עם זאת, המודל אינו מסוגל למצוא את הסיסמה, והמחבר מציע שייתכן שהם עושים משהו לא נכון.

המחבר מסכם על ידי הבטחת הסרטון הבא שלהם, שיציג את גרסת Gradient LLaMA 3 Instruct עם חלון הקשר של מיליון אסימון.

המודל התקשה הן בבעיות מתמטיות והן בבעיות לוגיות במבחנים. כאשר התבקש לכתוב משחק נחש בפייתון, הקוד שנוצר היה עם כמה שגיאות ולא פעל כצפוי. באופן דומה, כאשר הוצגה בעיית מילולית שדרשה להמירה לאלגוריתם, המודל לא הצליח לספק את התשובה הנכונה במבחן רב-ברירה.

המודל התקשה גם עם בעיית לוגית הקשורה למספר הרוצחים בחדר. התשובה שלו הייתה שגויה, מה שמצביע על ביצועים חלשים בתחום זה.

באופן כללי, התוצאות מציעות שבעוד שהמודל עשוי להצטיין במשימות מסוימות, כמו יצירת תוכן בלתי מצונזר, יש לו קשיים במשימות פתרון בעיות מורכבות יותר הכוללות מתמטיקה ולוגיקה. זה מדגיש את הצורך בפיתוח והשבחה נוספים של יכולות המודל בתחומים אלה.

המודל הצליח ליצור קוד במהירות עבור משחק נחש פשוט, מה שמדגים את מהירותו וכשירותו. עם זאת, בניסיון לבצע משימות מורכבות יותר כמו פתרון בעיית מילולית מתמטית או חידה לוגית, המודל התקשה ולא סיפק פתרונות מדויקים.

האופי הבלתי מצונזר של המודל נבדק על ידי שאלה אותו על פעילויות בלתי חוקיות, והוא אכן סיפק הוראות שלב אחר שלב, מה שמעורר דאגה. עם זאת, המחבר בחר שלא להציג מידע זה כדי להימנע מלעודד התנהגות מזיקה.

בבדיקת חלון ההקשר של 256K, ניסה המחבר להסתיר סיסמה בתוך מאגר טקסט גדול (44,000 אסימונים) ולבקש מהמודל לאחזר אותה. לצערו, המודל לא הצליח למצוא את הסיסמה בתוך ההקשר הנתון, מה שמרמז שחלון ההקשר המורחב עשוי שלא לפעול כצפוי.

באופן כללי, ביצועי המודל היו מעורבים, עם נקודות חוזק ביצירת קוד פשוטה אך נקודות חולשה במשימות היסק מורכבות יותר. האופי הבלתי מצונזר של המודל גם מעורר דאגות אתיות שיש לשקול בזהירות.

הבדיקה הקרובה תתמקד במודל Gradient LLaMA 3 Instruct, שמציג חלון הקשר עצום של מיליון אסימון. מודל זה הוא הגרסה של 7 מיליארד פרמטרים של מודל LLaMA 3 Instruct, שפותח על ידי Gradient.

הנקודות הבולטות של בדיקה זו יהיו:

1. בדיקת מחט בערימת שחת: הבדיקה תכלול הטמנת מידע ספציפי (סיסמה) בתוך הקשר גדול של טקסט (חצי מהספר הראשון של הארי פוטר, בסך הכל 44,000 אסימונים). המודל יתבקש לאחזר את הסיסמה המוסתרת מהטקסט שסופק.

2. הרחבת חלון ההקשר: חלון ההקשר של מיליון אסימון של מודל Gradient LLaMA 3 Instruct יועמד למבחן, מאפשר למודל לנצל כמות משמעותית גדולה יותר של מידע הקשרי בהשוואה למבחנים הקודמים.

3. יכולות המודל: הבדיקה תשאף להעריך את יכולת המודל לטפל באחזור מידע בקנה מידה גדול ואת ביצועיו הכוללים במשימות הדורשות הבנה הקשרית נרחבת.

בחקירת יכולות מודל Gradient LLaMA 3 Instruct, הבדיקה הקרובה תספק תובנות חשובות לגבי הפוטנציאל של מודלי שפה גדולים עם חלונות הקשר נרחבים. תוצאות בדיקה זו יפורסמו בסרטון עתידי, אז היו מעודכנים לגבי ההתפתחות המרתקת הזו בעולם הבינה המלאכותית.