ה-SWE-Agent, פרויקט קוד פתוח חדש, השיג ביצועים קרובים מאוד לאלה של DEVIN, תוכנת המהנדס התוכנה הבינה המלאכותית שפותחה על ידי Cognition Lab, על בסיס הבנצ'מרק SWE. הבנצ'מרק SWE מבוסס על פתרון בעיות GitHub, וקודם לכן דווח כי DEVIN השיג דיוק מהמצב הטוב ביותר של 13.86% על בנצ'מרק זה.

然而, ה-SWE-Agent מסוגל להתאים לביצועים אלה, ואפילו לעבור אותם. יש לציין שה-SWE-Agent מבצע משימה זו בכ-93 שניות בלבד, משמעותית מהר יותר מה-5 דקות שנדרשו על ידי DEVIN.

חשוב לציין שצוות Cognition Lab בדק את DEVIN על רק 25% מערכת הנתונים של בנצ'מרק SWE, בעוד שביצועי ה-SWE-Agent מדווחים על מלוא מערכת הנתונים. הדבר מרמז שאם DEVIN היה נבדק על מערכת הנתונים המלאה, ביצועיו עלולים להידרדר ולהתקרב לרמה שהושגה על ידי ה-SWE-Agent.

ה-SWE-Agent משתמש בגישה דומה מבוססת סוכן לזו של DEVIN, כאשר ההבדל העיקרי הוא הקמת שכבת "ממשק סוכן-מחשב". שכבה זו מספקת לסוכן סט של פקודות ידידותיות למודל שפה וסביבת טרמינל מיוחדת, מאפשרת לו להתמודד עם מאגרי GitHub ביעילות רבה יותר.

ה-SWE-Agent הוא פרויקט קוד פתוח חדש שמטרתו לשחזר את הפונקציונליות של המערכת הבעלות Deon שפותחה על ידי Cognition Lab. לסוכן יש ארכיטקטורה ייחודית המאפשרת לו לבצע משימות הנדסת תוכנה, בעיקר על מאגרי GitHub, ביעילות מרשימה.

היבטים עיקריים של עיצוב וכישורי ה-SWE-Agent הם:

1. ממשק סוכן-מחשב: ה-SWE-Agent מתקשר עם המחשב דרך שכבת "ממשק סוכן-מחשב" מיוחדת. ממשק זה מספק סט של פקודות ידידותיות למודל שפה ופורמטי משוב, מה שמקל על המודל השפה לעיין במאגרים, להציג, לערוך ולבצע קבצים.

2. פרסום קבצים הדרגתי: במקום לנתח את הקובץ כולו בבת אחת, ה-SWE-Agent מפרק את הקובץ לקטעים של 100 שורות ומחפש את הקטעים הרלוונטיים של הקוד. גישה זו מאפשרת לסוכן לשמור על הקשר טוב יותר ולבצע ביעילות רבה יותר בהשוואה לניתוח קובץ מלא.

3. יכולות ממוקדות GitHub: כרגע, ה-SWE-Agent מתוכנן במיוחד לעבוד עם מאגרי GitHub, מאפשר לו לפתור בעיות וליצור בקשות משיכה. עם זאת, המפתחים ציינו כי היקף הפעילות עשוי להתרחב לכלול משימות הנדסת תוכנה אחרות בעתיד.

4. השוואת ביצועים: ה-SWE-Agent הפגין ביצועים קרובים מאוד למערכת הבעלות Deon על בנצ'מרק SWE, המבוסס על פתרון בעיות GitHub. יש לציין שה-SWE-Agent יכול להשלים את משימות הבנצ'מרק בכ-93 שניות, משמעותית מהר יותר מ-5 הדקות של Deon.

5. קוד פתוח וגישה: פרויקט ה-SWE-Agent הוא לחלוטין קוד פתוח, והמפתחים מתכננים לפרסם בקרוב מאמר המפרט את ארכיטקטורת המערכת וכישוריה. שקיפות זו וגישה זו מאפשרות לקהילת הקוד הפתוח להרחיב ולשפר את פונקציונליות הסוכן.

באופן כללי, ה-SWE-Agent מייצג צעד משמעותי קדימה בפיתוח סוכני הנדסת תוכנה בקוד פתוח, מאתגר את ביצועי המערכות הבעלות כמו Deon. ככל שהקהילה הקוד הפתוח תמשיך לתרום לפרויקט, הכישורים של ה-SWE-Agent צפויים להמשיך לגדול.

ה-SWE-Agent, פרויקט קוד פתוח חדש, הפגין ביצועים מרשימים על בנצ'מרק SWE, המבוסס על פתרון בעיות GitHub. ה-SWE-Agent מסוגל להשיג ביצועים קרובים מאוד לאלה של המערכת הבעלות Devon, שהוצגה בעבר כמובילה בתחום.

יש לציין שה-SWE-Agent מסוגל להשלים את הבנצ'מרק בתוך 93 שניות בלבד, משמעותית מהר יותר מה-5 דקות הנדרשות על ידי Devon. הדבר מרמז שלה-SWE-Agent יש גישה יעילה ומאופטמית מאוד לפתרון משימות הנדסת תוכנה.

יתרה מכך, ביצועי ה-SWE-Agent מושגים על מלוא מערכת הנתונים של בנצ'מרק SWE, בשונה מ-Devon, שנבדק על רק 25% ממנה. הדבר מצביע על כך שיכולות ה-SWE-Agent הן עמידות ורחבות יותר.

ההצלחה של ה-SWE-Agent מיוחסת לארכיטקטורה הייחודית שלו, הכוללת "ממשק סוכן-מחשב" המספק שכבת הפשטה בין מודל השפה למסוף המחשב. זה מאפשר לסוכן להתמודד עם בסיס הקוד באופן טבעי ויעיל יותר.

באופן כללי, הופעתו של ה-SWE-Agent כחלופה חזקה בקוד פתוח למערכות בעלות כמו Devon היא התפתחות מרגשת בתחום ההנדסה התוכנה המונעת על ידי בינה מלאכותית. הקהילה מצפה בקוצר רוח לפרסום מאמר המחקר של ה-SWE-Agent, שצפוי לספק תובנות נוספות על יכולותיו והפוטנציאל שלו.

בעוד שה-SWE-Agent הפגין ביצועים מרשימים על בנצ'מרק SWE, הוא כרגע מוגבל לעבודה עם מאגרי GitHub. יכולות הסוכן מוגבלות למשימות הנדסת תוכנה ספציפיות, והוא אינו יכול לשמש למטרות אחרות. בנוסף, הסוכן דורש שימוש במודלי שפה חזקים כמו Opus או GPT-4 כדי לפעול ביעילות. מודלי השפה הגדולים בקוד פפתוח הזמינים כרגע אינם מספיק יכולים להריץ סוכנים כמו ה-SWE-Agent. 然, ההתקדמות שנעשתה על ידי ה-SWE-Agent ופרויקטים דומים מעודדת. ככל שהקהילה הקוד הפתוח תמשיך לפתח מודלי שפה מתקדמים יותר, יכולות סוכני הנדסת התוכנה האלה צפויות להתרחב. פרסום מאמר ה-SWE-Agent נחכה בקוצר רוח, שכן הוא עשוי לספק תובנות חשובות לגבי הפיתוח והפוטנציאל של סוגי מערכות אלה.

ההופעה של פרויקטי קוד פתוח כמו SWA Agent, שיכולים להתאים באופן קרוב לביצועי המערכת הבעלות Devon, היא התפתחות משמעותית בתחום ההנדסה התוכנה המונעת על ידי בינה מלאכותית. היכולת של SWA Agent לפתור באופן אוטונומי בעיות GitHub בתוך שניות ספורות, בהשוואה ל-5 הדקות שנדרשו על ידי Devon, היא הישג מרשים.

בעוד שSWA Agent מוגבל כרגע לבעיות GitHub, הקהילה הקוד הפתוח צפויה להמשיך להרחיב את יכולותיו. פרסום מאמר הפרויקט יספק תובנות חשובות לגבי הטכניקות והגישות הבסיסיות שנעשה בהן שימוש.

לקח מרכזי אחד הוא שהיתרון העיקרי של מערכות בעלות כמו Devon נעוץ בגישה לנתונים ומשאבי מחשוב בעלות, ולא בעליונות טכנולוגית מובנית. יכולת הקהילה הקוד הפתוח לשחזר ביצועים כאלה מדגישה את הפוטנציאל להתקדמות נוספת בתחום זה.

עם זאת, המגבלות הנוכחיות של מודלי השפה בקוד פתוח להרצת סוכנים מתקדמים אלה עדיין אתגר. הצורך במודלים חזקים יותר, כמו Opus או GPT-4, הוא ברור. ככל שהתחום מתקדם, יהיה מרגש לראות כיצד הקהילה הקוד הפתוח תמשיך לדחוף את הגבולות של הנדסת תוכנה מונעת בינה מלאכותית.