Metabot, סוכן קידוד מתקדם מובנה בגיטהאב, השיג ציון מרשים של 38% במדד הנדסת תוכנה, עובר את הקודם בשיא של 33%. זה הישג מרשים הושג על ידי האדריכלות הקוגניטיבית החדשה של Metabot שמתמודדת עם בעיות בזרימת עבודה מובנית.

האדריכלות כוללת תהליך רב-שלבי:

1. איסוף הקשר
2. תכנון ועריכה
3. פירוק התכנית לעריכות פרטניות
4. יישום העריכות
5. בדיקה וסקירה של התכנית
6. איסוף הקשר נוסף אם נדרש
7. הגשת הפתרון הסופי

גישה זו של איטרציה ומבנה אפשרה למטאבוט להתעלות על מובילי התעשייה כמו Factory AI של Alibaba ומחקר IBM. הקצב המהיר של התקדמות בסוכני קידוד מּונעי AI הוא עדות להאצה בקצב פיתוח ה-AI, כאשר שיפורים נצפים מדי מספר שבועות.

ההשלכות של התקדמות זו הן משמעותיות, שכן היא מרמזת שקצב השיפורים בפיתוח תוכנה עשוי להיות אקספוננציאלי בשנים הקרובות. ככל שדגמי ה-AI ימשיכו להתפתח, הפוטנציאל של קידוד מּונע AI להפוך את תעשיית הנדסת התוכנה הופך לנראה יותר ויותר.

Google שחרר לאחרונה שני דגמי שפה חדשים, Gemini 2, עם 27 מיליארד ו-9 מיליארד פרמטרים בהתאמה. דגמים אלה הצליחו להתעלות על דגמים גדולים יותר כמו LLaMA 3 (70 מיליארד פרמטרים), Chinchilla (70 מיליארד פרמטרים) ו-ChatGPT בהערכות סובייקטיביות, למרות גודלם הקטן יותר.

דגם Gemini 2 בעל 27 מיליארד פרמטרים הראה ביצועים מרשימים, מנצח את דגמים גדולים אלה בתחום הצ'אטבוט. בעוד שייתכן שלא יעבור אותם במדדים אובייקטיביים, העובדה שמשתמשים אפילו לא יבחינו שהם מתקשרים עם דגם בגודל זה היא מרשימה מאוד.

בנוסף, Google עשה התקדמות משמעותית בדגמי השפה שלה, כולל הגדלת אורך חלון ההקשר ל-2 מיליון אסימונים ב-Gemini 1.5 Pro. זהו שיפור משמעותי לעומת דגמים קודמים ומציב את Google בחזית מעבדות ה-AI הגדולות בתחום זה.

האופי הקוד פתוח של דגמי Gemini 2, יחד עם הביצועים והיעילות המרשימים שלהם, הופכים אותם לפיתוח מבטיח בתחום עיבוד השפה הטבעית. ככל שGoogle ממשיכה לשלוח דגמים חדשים ולהשיג פריצות דרך, אנו יכולים לצפות לראות עוד התקדמויות מרשימות בשנים הקרובות.

נוף ה-AI מתפתח במהירות, עם מספר פריצות דרך וחיזויים מרכזיים המעצבים את העתיד של טכנולוגיה זו. להלן חלק מההתפתחויות הבולטות:

1. Metabot: סוכן קידוד מהפכני

   • Metabot, סוכן קידוד מתקדם מובנה בגיטהאב, השיג ציון מרשים של 38% במדד הנדסת תוכנה, עובר את הקודם בשיא של 33%.
   • הישג זה מדגים את ההתקדמות המרשימה בפיתוח תוכנה מּונע AI, כאשר Metabot מתעלה על שחקני תעשייה מובילים כמו Alibaba, Factory ו-IBM Research.
   • האדריכלות הקוגניטיבית מאחורי Metabot, הכוללת איסוף הקשר, תכנון, עריכה ובדיקה, הוכיחה להיות יעילה מאוד בפתרון אתגרי קידוד מורכבים.

2. Gemini 2 של Google: התעלות על דגמים גדולים יותר

   • Google שחרר את Gemini 2, דגם בעל 27 מיליארד פרמטרים ודגם בעל 9 מיליארד פרמטרים, אשר הפגינו ביצועים מרשימים בתחום הצ'אטבוט.
   • דגמי Gemini 2 אלה עברו דגמים גדולים יותר כמו LLaMA 3 (70 מיליארד פרמטרים), Cohere (72 מיליארד פרמטרים) ו-ChatGPT, מדגימים את הפוטנציאל של מערכות AI יעילות ובעלות ביצועים גבוהים.
   • האופי הקוד פתוח של Gemini 2 והתאימות הרחבה של המסגרת שלו הופכים אותו לאפשרות מושכת עבור מפתחים וחוקרים.

3. הרחבת אורכי ההקשר: דוחפים את הגבולות

   • Google הודיעה על זמינות Gemini 1.5 Pro עם חלון הקשר של 2 מיליון אסימונים, מרחיב משמעותית את קיבולת הקלט של דגמי השפה שלה.
   • התפתחות זו מיישרת קו עם החקירה של GPT-4 של OpenAI, אשר הפגין את היכולת לעבד קלטים של 45 דקות וידאו, כנראה בטווח של מיליון אסימונים.
   • המרוץ להגדלת אורכי ההקשר מדגיש את המאמצים המתמשכים לשפר את יכולות דגמי ה-AI בטיפול בקלטים ארוכים ומורכבים יותר.

4. חיזויי Anthropic: הרצות אימון במיליארדי דולרים

   • מנכ"ל Anthropic, Dario Amodei, חוזה שעד 2027, דגמי AI יעלו עד 100 מיליארד דולר להכשרה ויעברו את היכולות האנושיות ברוב המשימות.
   • תחזית עלות מדהימה זו מדגישה את ההשקעות המשמעותיות הנדרשות כדי לדחוף את גבולות פיתוח ה-AI, כאשר ההרצות הבאות עשויות לעלות מיליארד דולר.
   • ההשלכות של הרצות אימון יקרות אלה מצביעות על הצורך במימון ומשאבים ניכרים כדי להניע את ההתקדמות המתמשכת של טכנולוגיית ה-AI.

5. האצת גילויים מדעיים

   • Amodei גם מציע שדגמי AI יכולים להאיץ גילויים ופריצות דרך מדעיים, בעיקר בתחומים כמו ביולוגיה וגילוי תרופות.
   • הפוטנציאל של מערכות מּונעות AI לפעול ברמה של מדענים זוכי פרס נובל או מומחים מובילים בתחומים שונים עשוי להוביל להתרבות של גילויים מהפכניים.
   • חזון זה מיישר קו עם ההתקדמויות שנראו בפרויקטים כמו AlphaFold, אשר הפגינו את היכולת להאיץ את חיזוי מבנה חלבונים.

כפי שנוף ה-AI ממשיך להתפתח, אבני הדרך והחיזויים האלה מדגישים את הקצב המהיר של ההתקדמות והפוטנציאל המהפכני של טכנולוגיה זו בתחומים שונים, מפיתוח תוכנה ועד מחקר מדעי ומעבר לכך.

Dario Amod, מנכ"ל Anthropic, עשה מספר חיזויים מרתקים לגבי עתיד ה-AI. הוא מאמין שעד 2027, דגמי AI יעלו עד 100 מיליארד דולר להכשרה, והם יהיו טובים יותר מרוב בני אדם ברוב המשימות. זה מרמז שההרצות הבאות, שעשויות לעלות מיליארד דולר, יידחפו את הגבולות של מה שה-AI יכול להשיג.

אחד התחומים שבהם Amod מאמין שה-AI יהיה להם השפעה משמעותית הוא האצת גילויים מדעיים ומרפא מחלות. הוא מדמיין דגמי AI ייעודיים שהם בעלי ידע ויצירתיות כמו מדענים זוכי פרס נובל או ראשי גילוי תרופות בחברות תרופות גדולות. דגמים אלה יכולים לנסות ולחקור בדרכים שחוקרים אנושיים אינם יכולים, ובכך להוביל לפריצות דרך בתחומים כמו ביולוגיה וגילוי תרופות.

אנו כבר ראינו דוגמאות של דגמי AI, כמו AlphaFold של Google, שהצליחו להאיץ את גילוי מבני חלבונים במידה ניכרת. Amod מאמין שאם היו לנו "מיליון עותקים של מערכת AI שהיא בעלת ידע ויצירתיות כמו כל אותם מדענים שהמציאו את הדברים האלה", קצב הגילויים המדעיים יכול להתרבות, ואפילו מחלות ותיקות יכולות להיפתר או להירפא.

בעוד שזה עשוי להישמע כמטרה עתידנית ומאתגרת, היכולות היסודיות של דגמי ה-AI מרמזות שהתקדמויות כאלה הן אפשריות. ככל שהקנה מידה, האלגוריתמים והחומרה ימשיכו להשתפר, הפוטנציאל של ה-AI לחולל מהפכה במחקר המדעי ופריצות דרך רפואיות הופך למוחשי יותר ויותר.

OpenAI עבדה על פיתוח דגמי "ביקורת" כדי לסייע בשיפור הדיוק והיישור של מערכות ה-AI שלהם, בעיקר ChatGPT. הנקודות העיקריות הן:

• OpenAI אימנה דגם בשם "Critic GPT" המבוסס על GPT-4 כדי לזהות טעויות בפלטים של ChatGPT.
• כאשר אנשים משתמשים ב-Critic GPT כדי לסקור את התגובות של ChatGPT, הם עולים על אלה ללא הדגם הביקורתי ב-60% מהמקרים.
• OpenAI עובדת כעת על שילוב של דגמים דוגמת Critic GPT בצינור הלמידה המחזקת עם משוב אנושי (RLHF) שלהם.
• זהו דוגמה ל"שיפור עצמי רקורסיבי" שבו דגמי AI משמשים להערכה ושיפור של דגמי AI אחרים.
• ככל שדגמי ה-AI הופכים מתקדמים יותר, קשה יותר עבור המאמנים האנושיים לזהות את הטעויות הדקות שלהם. דגמי ביקורת יכולים לסייע בה