סוכן הקוון הוא מסגרת סוכן AI חדשה ומתקדמת המבוססת על מודל השפה הגדול Quen 2. היא משלבת מספר יכולות עוצמתיות, כולל קריאת פונקציות, מפרש קוד, יצירה מוגברת באחזור (RAG) ותוסף Chrome.

מסגרת זו נועדה ליצור סוכני AI מתוחכמים שיכולים להתגבר על מערכות רב-סוכן אחרות. אחת התכונות המרכזיות של סוכן הקוון היא היכולת שלו לטפל במשימות מורכבות עם גודל הקשר גדול. המסגרת הצליחה להבין מסמכים עם עד מיליון אסימונים, עוברת את ביצועי RAG ומודלי הקשר הארוך המקוריים.

סוכן הקוון משתמש בגישה בת ארבעה שלבים כדי להכליל את מודל השפה הגדול מגודל הקשר של 8K לקשר של מיליון אסימונים:

1. מודל התחלתי: המסגרת מתחילה עם מודל צ'אט חלש בעל הקשר של 8K.
2. פיתוח סוכן: המודל משמש לבניית סוכן יחסית חזק המסוגל לטפל בהקשר של מיליון אסימונים.
3. סינתזת נתונים: הסוכן משמש לסינתזה של נתוני כיוון איכותיים גבוהים, עם סינון אוטומטי להבטחת האיכות.
4. כיוון מודל: הנתונים הסינתטיים משמשים לכיוון מחדש של מודל מאומן מראש, מה שמניב צ'אטבוט חזק בעל הקשר של מיליון אסימונים.

סוכן הקוון שימש ליצירת נתונים לאימון מודלי הקוון ארוכי ההקשר החדשים. זהו הישג משמעותי, מאחר שהכנת נתוני כיוון מספיק ארוכים היוותה אתגר במחקר על מודלי שפה גדולים שיכולים לעבד רצפים של מיליוני אסימונים באופן מקורי.

הגישה שנעשה בה שימוש על ידי סוכן הקוון כוללת תהליך בן ארבעה שלבים:

1. מודל התחלתי: התהליך מתחיל עם מודל צ'אט חלש בעל הקשר של 8K כמודל התחלתי.

2. פיתוח סוכן: בשלב זה, סוכן הקוון משמש לבניית סוכן יחסית חזק המסוגל לטפל בהקשר של מיליון אסימונים.

3. סינתזת נתונים: לאחר מכן, הסוכן משמש לסינתזה של נתוני הכיוון, עם סינון אוטומטי להבטחת האיכות.

4. כיוון מודל: לבסוף, הנתונים הסינתטיים משמשים לכיוון מחדש של מודל מאומן מראש, מה שמניב צ'אטבוט חזק בעל הקשר של מיליון אסימונים.

בניית הסוכן מורכבת משלושה רמות של מורכבות, כאשר כל אחת נבנית על הקודמת:

1. יצירה מוגברת באחזור:

   • זוהי גישה פשוטה המעבדת אורך הקשר של מיליון אסימונים.
   • היא משתמשת באלגוריתם RAG (יצירה מוגברת באחזור).
   • היא מחלקת את ההקשר לקטעים קצרים יותר, כאשר כל אחד אינו עולה על 512 אסימונים.
   • היא שומרת רק את הקטעים הרלוונטיים ביותר בתוך הקשר של 8K.
   • יש לה שלוש תת-שלבים:
     • הפרדת הוראה ומידע: מבחינה בין חלקי ההוראה והחלקים שאינם הוראה בשאילתת המשתמש.
     • استخراج מילות מפתח: מסיק מילות מפתח רב-לשוניות מהחלק המידעי של השאילתה.
     • אחזור הקטעים הרלוונטיים: משתמש באלגוריתם BM25 כדי למצוא את הקטעים הרלוונטיים ביותר.

2. קריאה קטע אחר קטע:

   • גישה זו מתמודדת עם המגבלות של גישת RAG, שיכולה להחמיץ קטעים רלוונטיים אם הם לא תואמים למילת מפתח בשאילתה.
   • היא כוללת שלוש שלבים:
     • הערכת רלוונטיות: מודל בודק כל קטע בן 512 אסימונים לגבי רלוונטיות לשאילתה.
     • אחזור קטעים: המשפטים הרלוונטיים משמשים לאחזור הקטעים הרלוונטיים ביותר בתוך מגבלת ההקשר של 8K, באמצעות אלגוריתם BM25.
     • יצירת תשובה: התשובה הסופית נוצרת על בסיס ההקשר שנאחזר, בדומה לשיטת RAG.

3. הגיון צעד אחר צעד:

   • גישה זו משמשת לשאלות ענייניות מבוססות מסמכים, שם נדרש הגיון רב-קפיצתי.
   • היא משתמשת בסוכני כלי-קריאה, שיש להם סוגים שונים של כלים, כמו "שאל את סוכן LV3 שאלה", "שאלות משנה", "עדכן זיכרון" ועוד.
   • גישה זו מאפשרת למודל להגדיל את ההקשר לעד מיליון אסימונים ולשפר את איכות הפונקציונליות השונות.

הרמה הראשונה של בניית הסוכן מורכבת מגישת יצירה מוגברת באחזור (RAG). זוהי גישה פשוטה שנראתה פעמים רבות בעבר. היא מעבדת אורך הקשר של מיליון אסימונים ומשתמשת באלגוריתם RAG.

התהליך כולל:

1. חלוקת ההקשר: ההקשר מחולק לקטעים קצרים יותר, כאשר כל קטע אינו עולה על 512 אסימונים.
2. שמירת הקטעים הרלוונטיים: רק הקטעים הרלוונטיים ביותר בתוך ההקשר של 8K נשמרים.
3. הפרדת הוראת המידע: משתמשים בהוראת מידע נפרדת כדי להבחין בין חלקי ההוראה והחלקים שאינם הוראה בשאילתות המשתמש. לדוגמה, להפוך את השאילתה "עליך להשיב ב-2,000 מילים ולהיות מפורט ככל האפשר. השאלה שלי היא מתי הומצאו האופניים?" למבנה הנחיה.
4. استخراج מילות מפתח: המודל מסוגל להסיק מילות מפתח רב-לשוניות מהחלק המידעי של השאילתה.
5. אחזור הקטעים הרלוונטיים: אלגוריתם BM25, שיטת אחזור מבוססת מילות מפתח מסורתית, משמש למציאת הקטעים הרלוונטיים ביותר.

הרמה השנייה של בניית הסוכן היא גישת "קריאה קטע אחר קטע". החוקרים מצאו שהגישה הראשונית של RAG (יצירה מוגברת באחזור) הייתה די מהירה, אך יכולה להחמיץ קטעים רלוונטיים אם הם לא תואמים למילת מפתח בשאילתה. כדי להתמודד עם זה, הם הציגו אסטרטגיה בריוטית יותר בשלושה שלבים:

1. הערכת רלוונטיות: מודל שבודק כל קטע בן 512 אסימונים לגבי רלוונטיות לשאילתה.
2. אחזור קטעים: המשפטים הרלוונטיים מהשאילתה משמשים לאחזור הקטעים הרלוונטיים ביותר בתוך מגבלת ההקשר של 8K, באמצעות אלגוריתם BM25.
3. יצירת תשובה: התשובה הסופית נוצרת על בסיס ההקשר שנאחזר, בדומה לשיטת RAG.

גישת הקריאה קטע אחר קטע יסודית יותר בהבטחה שמידע רלוונטי לא יוחמץ, גם אם הוא לא תואם למילות המפתח המדויקות בשאילתה. על ידי בדיקת כל קטע בנפרד ולאחר מכן אחזור הקטעים הרלוונטיים ביותר, הסוכן יכול לבנות הבנה כוללת יותר של ההקשר כדי ליצור תשובה באיכות גבוהה.

במסגרת סוכן הקוון, גישת ההגיון צעד אחר צעד משמשת להתמודדות עם האתגר של שאלות ענייניות מבוססות מסמכים, שבהן המודל צריך לבצע הגיון רב-קפיצתי כדי להגיע לתשובה הנכונה.

היבטים המפתח של גישה זו הם:

1. סוכני כלים מרובים: המסגרת משתמשת במספר סוכני כלים ייעודיים, כמו "שאל את סוכן LV3 שאלה", "שאלות משנה", "עדכן זיכרון" ועוד. סוכנים אלה יכולים להיקרא לביצוע שלבי הגיון ספציפיים.

2. הגיון איטרטיבי: הסוכן מתחיל עם השאלה המקורית ושובר אותה לשאלות משנה. הוא לאחר מכן קורא לסוכני הכלים המתאימים כדי לאסוף את המידע הדרוש, לעדכן את הזיכרון הפנימי שלו ולבסוף ליצור את התשובה.

3. הרחבת ההקשר: על ידי ניצול סוכני הכלים, הסוכן יכול להרחיב את ההקשר מעבר למגבלת 8K אסימונים המקורית, מה שמאפשר לו לטפל בשאלות הדורשות מידע מקורפוס מסמכים גדול יותר.

מסגרת סוכן הקוון הפגינה יכולות מרשימות בטיפול במשימות מורכבות עם קלטים בעלי הקשר ארוך. באמצעות סדרת ניסויים, המפתחים הציגו את השיפורים המשמעותיים בביצועים שהושגו על ידי מסגרת סוכן חדשה זו.

אחד ההישגים המרכזיים הוא היכולת להכליל את מודל השפה הגדול מגודל הקשר של 8K לקשר של מיליון אסימונים. זה הושג על ידי ניצול הגישה רב-הרמות של סוכן הקוון, הכוללת יצירה מוגברת באחזור, קריאה קטע אחר קטע והגיון צעד אחר צעד.

הניסויים הראו שסוכן הקוון יכול להתגבר על אלגוריתמי RAG (יצירה מוגבר