בניית סוכן אינטרנט שיכול לשלוט ישירות במכשיר המחשב האישי כדי לבצע משימות באופן אוטומטי הרבה יותר מאתגרת מבניית סוכן המתקשר באמצעות שיחיקת פונקציות. להלן הסיבות לכך:

• מורכבות המשימות: אפילו משימה פשוטה כמו שליחת דוא"ל דורשת מהסוכן האינטרנטי מספר צעדים - פתיחת אתר Gmail, לחיצה על שורת החיפוש, הקלדת הדוא"ל, לחיצה על לחצן התשובה וסוף סוף לחיצה על שלח. כל אחד מהצעדים האלה יכול להיות מקור לשגיאות, דבר המחייב מהסוכן יכולות זיכרון וסיבתיות חזקות יותר.

• הבנת ממשק המשתמש: הסוכן צריך להבין בדיוק את ממשק המשתמש, בין אם על ידי ניתוח מבנה ה-HTML/XML או באמצעות ניתוח צילומי מסך באמצעות טכניקות ראייה ממוחשבת. استخراج המידע הרלוונטי והחלטה על הפעולה הבאה היא אתגר מורכב.

• דיוק המיקום: מיקום מדויק של אלמנטי ממשק המשתמש הנכונים לאינטראקציה, כמו לחצנים או שדות קלט, קריטי להצלחת הסוכן. טכניקות כמו שימוש בהכרה אופטית של תווים (OCR) ושילוב של מספר דגמים הראו הבטחה, אך זה עדיין מהווה מכשול משמעותי.

• מהירות ויעילות: אופי הסוכן מסוג זה, העובר דרך מספר צעדים גם למשימות פשוטות, הופך אותו ביסודו פחות יעיל מסוכנים מסורתיים. שיפור המהירות ושיעור השלמת המשימה הכולל הוא יעד חשוב.

• דיוק ואמינות: להבטיח שהסוכן יוכל לבצע משימות בדיוק מבלי להיתקע במעגלים אינסופיים או לעשות טעויות הוא קריטי ליישומים בעולם האמיתי. התמודדות עם אתגרי הדיוק והאמינות הללו היא תחום מיקוד עיקרי.

חרף אתגרים אלה, היתרונות הפוטנציאליים של סוכן אינטרנט שיכול לטפל במגוון רחב של משימות אישיות ועבודה הם משמעותיים. מחקר והתפתחות מתמשכים בתחומים כמו ראייה ממוחשבת, דגמי שפה ותכנון משימות עוזרים להתקדם בתחום זה.

ישנן שלוש גישות עיקריות שסוכני אינטרנט משתמשים בהן להבנה ואינטראקציה עם ממשקי משתמש:

1. גישה מבוססת HTML/XML:

   • הסוכן מחלץ את מבנה ה-HTML או ה-XML של האתר ומשתמש במידע זה להבנת התפריס והאלמנטים האינטראקטיביים.
   • הסוכן יכול לאחר מכן להשתמש בידע זה כדי למקם ולהתקשר עם אלמנטי ממשק משתמש ספציפיים, כמו שדות קלט, לחצנים וקישורים.
   • גישה זו היא יחסית בשלה, אך יש לה מגבלות בטיפול באתרים מורכבים או בעלי מבנה לקוי.

2. גישה מבוססת ראייה:

   • הסוכן משתמש בדגמי ראייה ממוחשבת לניתוח צילומי מסך או תמונות של ממשק המשתמש.
   • זה מאפשר לסוכן לזהות ולמקם אלמנטי ממשק משתמש, גם בהיעדר נתוני HTML/XML נקיים.
   • טכניקות כמו מיפוי בולטות (Saliency Mapping) והכרה אופטית של תווים (OCR) משמשות לזיהוי הקואורדינטות המדויקות של אלמנטים אינטראקטיביים.
   • שילוב של דגמי ראייה עם דגמי שפה (למשל GPT-4) יכול לשפר את דיוק הגישה הזו.

3. גישה היברידית:

   • זו משלבת את נקודות החוזק של הגישות המבוססות HTML/XML והמבוססות ראייה.
   • הסוכן משתמש הן בנתונים המבניים מהאתר והן במידע החזותי מצילומי המסך כדי להבין את הממשק.
   • גישה זו יכולה לטפל במגוון רחב יותר של מבני אתרים ולספק אינטראקציה מדויקת יותר עם אלמנטי ממשק משתמש.

האתגרים העיקריים בבניית סוכני אינטרנט יעילים כוללים:

1. מהירות: אופי הפעולות הרב-שלביות של אינטראקציות אינטרנט יכול להפוך את סוכני האינטרנט לאיטיים יותר מסוכנים מתקשרי פונקציות מסורתיים.
2. דיוק: מיקום והתקשרות מדויקים עם אלמנטי ממשק משתמש הוא משימה מורכבת הדורשת יכולות ראייה ממוחשבת ותפיסת שפה מתקדמות.
3. השלמת משימה: שמירה על הקשר והימנעות ממעגלים אינסופיים חשובים להבטחת שסוכני אינטרנט יוכלו להשלים משימות מורכבות בהצלחה.

ראשית, דבר אחד שהבנתי במהירות הוא שסוג זה של סוכן אינטרנט, נייד או שולחני שיכול לשלוט ישירות במכשיר המחשב האישי הוא קשה בהרבה מסוכני שיחיקת פונקציות רגילים שאנחנו בונים. בואו נאמר שאנחנו בונים סוכן פשוט של מנהל תיבת דואר שיכול לבצע פעולות כמו שליחת דוא"ל. עם סוכן שיחיקת פונקציות רגיל, כל מה שצריך לעשות הוא לקרוא לפונקציה מוגדרת מראש בשם "שלח דוא"ל" ולהעביר את תוכן הדוא"ל, והמשימה מסתיימת. אין הרבה מקום לשגיאות. 然, אם נסה להשיג שסוכן אינטרנט יסיים את המשימה הפשוטה של שליחת דוא"ל, הוא יצטרך לעבור לפחות ארבע שלבים שונים. ראשית, הוא יצטרך לפתוח את Gmail.com בדפדפן, ללחוץ על שורת החיפוש, לחפש את הדוא"ל הספציפי שאליו להשיב, ללחוץ על הדוא"ל הנכון מתוצאות החיפוש, ללחוץ על לחצן התשובה, להקליד את התשובה ולבסוף ללחוץ על שלח. אז זה לוקח הרבה יותר שלבים להשלים אפילו משימה בסיסית. יש הרבה יותר מקום לשגיאות בתהליך הזה, כיוון שהסוכן יכול לטעות בכל אחד מהשלבים האלה. הסוכן גם צריך זיכרון וכושר סיבתיות חזקים יותר כדי לזכור מה הוא עשה לפני כן כדי להימנע מלחזור על אותן שגיאות.

לכן, בקצרה, זה הרבה יותר מאתגר לבנות, אבל אם היכולת הזו תושג, זה מאוד מרגש ופותח הזדמנויות לשווקים גדולים מאוד.

איך המערכת הזו באמת עובדת? ישנן שלוש דרכים עיקריות שבהן אנו יכולים לגשת לזה:

1. גישה מבוססת HTML או XML: נשתדל לחלץ את קובץ ה-HTML של כל אתר ולתת לסוכן את אלמנטי ה-DOM ה-HTML האלה כהקשר, כך שהסוכן יוכל להבין את מבנה האתר ואז להחליט מה לעשות בהמשך. זו הדרך הבשלה ביותר, אך יש לה מגבלות, כמו אי-יכולת לטפל במשימות הכוללות תמונות.

2. גישה מבוססת ראייה: במקום להזין לסוכן את קוד ה-HTML המקורי, נוכל לצלם צילום מסך ולשלוח אותו למודל רב-מודלי, שם הוא יוכל להבין, להסיק ולתכנן את הצעד הבא. החלק הקשה ביותר בגישה זו הוא לאתר בדיוק את אלמנט ממשק המשתמש הנכון לאינטראקציה.

3. גישה היברידית: חלק מהצוותים שילבו את נקודות החוזק של הגישות המבוססות HTML/XML והמבוססות ראייה, תוך שימוש בשילוב של דגמי שפה והכרה אופטית של תווים (OCR) כדי לשפר את הדיוק.

פיתוח סוכני אינטרנט שיכולים לשלוט ישירות במכשירי המחשב האישיים כדי לבצע משימות באופן אוטומטי הוא אתגר מורכב, עם מספר בעיות עיקריות שצריך להתגבר עליהן:

1. מהירות: אופי סוג זה של סוכן דורש לעבור דרך מספר שלבים כדי להשלים אפילו משימות פשוטות, מה שהופך אותם פחות יעילים מסוכנים מתקשרי פונקציות מסורתיים.

2. דיוק: מיקום והתקשרות מדויקים עם אלמנטי ממשק משתמש ספציפיים באתרים ויישומים הוא אתגר משמעותי. גישות כמו שימוש במבנה HTML/XML, מודלים רב-מודליים ושילובים של טכניקות כמו OCR ו-CLIP הראו התקדמות, אך עדיין יש מקום לשיפור.

3. השלמת משימה: סוכני אינטרנט יכולים לעיתים להיתקע במעגלים אינסופיים, לשכוח את הצעדים שנקטו לפני כן ולחזור שוב ושוב על אותן בעיות. פתרון בעיית שמירת ההקשר והשלמת המשימה הוא קריטי להגברת אימוץ סוכנים אלה.

כדי להתמודד עם בעיות אלה, נבחנו מספר טכניקות וכלים:

• גישה מבוססת HTML/XML: חילוץ וניקוי מבנה ה-HTML כדי לספק לסוכן הקשר ניהול יותר, הראה הבטחה, אך מוגבל בטיפול במשימות הכוללות תמונות ואתרים עם עיצוב לקוי.

• גישה רב-מודלית: שימוש בטכניקות ראייה ממוחשבת כמו ניתוח צילומי מסך, OCR ו-CLIP כדי להבין את ממשק המשתמש ולאתר אלמ