מטא שואפת לפתח את הדגם המתקדם ביותר של בינה מלאכותית בתעשייה עד שנת 2025. הם מתכננים להדריך את הדגם הבא שלהם, Llama 4, על פי נתונים פי 10 יותר מאשר Llama 3, אשר לטענתם כבר תחרותי עם הדגמים המתקדמים ביותר.

זוקרברג הצהיר כי מטא מעדיפה לבנות יותר מדי קיבולת חישוב מאשר לא מספיק, מכיוון שהם מתכננים את הקיבולת והנתונים הדרושים לשנים הבאות. כמות החישוב הנדרשת להדרכת Llama 4 תהיה כנראה כמעט פי 10 יותר מאשר מה שהיה בשימוש עבור Llama 3, וכן דגמים עתידיים ימשיכו לגדול מעבר לכך.

לפי אדם ד'אנג'לו, המנכ"ל של Quora וחבר הדירקטוריון של OpenAI, בינה מלאכותית כללית (AGI) עשויה להיות מושגת בתוך 5 עד 15 השנים הבאות. ד'אנג'לו עשה את הניבוי הזה במהלך אירוע לאחרונה, תוך ציון שהופעת AGI תהיה שינוי חשוב מאוד לעולם.

OpenAI, החברה שמאחורי הדגם השפתי הפופולרי GPT, פיתחה באופן פנימי מערכת סיווג בת חמישה רמות כדי לעקוב אחר ההתקדמות שלה לקראת בניית AGI. שלוש הרמות הראשונות כוללות:

1. צ'אטבוטים עם יכולות שפה שיחתית.
2. מסיקים ומערכות עם יכולות פתרון בעיות ברמת אנושית.
3. סוכנים ומערכות שיכולים לנקוט פעולות.

דגם ניסיוני חדש של Google, Gemini Pro 0801, נבדק בזירת הצ'אטבוט במהלך השבוע האחרון, ואסף יותר מ-20,000 הצבעות מהקהילה. לראשונה, Gemini תפס את המקום הראשון, עובר את GPT-4 ו-CLAUDE 3.5 עם ציון מרשים של 1,300 ומשיג גם את המקום הראשון בלוח הדירוג של החזייה.

Gemini Pro מצטיין במשימות רב-לשוניות ומספק ביצועים חסונים בתחומים טכניים, פרומפטים קשים וקידוד. זהו הישג משמעותי, שכן Gemini 1.5 Pro הצליח לעבור את הדגמים המסוגלים מאוד של GPT-4 ו-CLAUDE 3.5.

להפתעה, Google לא סימנה את הדגם הזה כ-Gemini 2, מה שמרמז שייתכן שהם יישמו טכניקות סיבוב או הדרכה נוספות כדי לשפר את יכולות הדגם.

Nvidia עובדת על הפשטה והאצת פיתוח של רובוטים אנושיים באמצעות היוזמה Project Roo. החברה מציגה מערכת כלים למפתחים במערכת האקולוגית של רובוטים אנושיים כדי לבנות את דגמי ה-AI שלהם ביעילות רבה יותר.

הרכיבים העיקריים של הגישה של Nvidia כוללים:

1. צינור יצירת נתונים סינתטיים: Nvidia מתחילה עם הדגמות שנאספו על-ידי בני אדם באמצעות התקני מציאות מעורבת כמו Apple Vision Pro. לאחר מכן הם מכפילים נתונים אלה פי אלף או יותר באמצעות כלי הדמיה של Nvidia כמו Omniverse, RoboSuite ו-MimicGen.

2. תשתית מחשוב מבוזרת: Nvidia מנצלת את פלטפורמות המחשוב DGX, OVX ו-Jetson Thor שלה כדי להניע את זרימת העבודה של הפיתוח. ה-DGX מטפל בעיבוד של וידאו וטקסט כדי להדריך את הדגם הבסיסי הרב-מודלי, ה-OVX מריץ את ערימת ההדמיה, וה-Jetson Thor משמש לבדיקת הדגם על רובוטים אמיתיים.

3. הדמיה מופעלת Omniverse: מסגרת ההדמיה Omniverse של Nvidia, המשולבת ב-Isaac Lab, מאפשרת למפתחים ליצור מספר עצום של סביבות ותצורות כדי להגדיל את מגוון נתוני ההדרכה.

חוקרים ב-ICML 2024 הציגו טכניקת הנדסת פרומפט חדשה בשם "תכנן כמו גרף" שיכולה לשפר משמעותית את ביצועי דגמי שפה במשימות מורכבות, רב-שלביות.

התובנה המרכזית מאחורי טכניקה זו היא שדגמי שפה נוכחיים מתקשים בתכנון אסינכרוני - היכולת לקבל בו-זמנית מספר משימות משנה בעוד שמבצעים אותן בזה אחר זה. כדי להתמודד עם זה, שיטת "תכנן כמו גרף" מפעילה את הדגם ליצור ייצוג גרפי של המשימה, המשקף את התלויות בין משימות המשנה. הדגם יכול לאחר מכן להשתמש בגרף הזה כדי לגבש תכנית אופטימלית להשלמת המשימה הכוללת.

החוקרים מצאו שגישה זו עדיפה על שיטות בסיס ברחבי מגוון דגמי שפה. לדוגמה, במשימה הכוללת הכנת ארוחת בוקר (כגון הכנת קפה, טיגון ביצה, הכנת טוסט), שיטת "תכנן כמו גרף" הקטינה את הזמן הכולל להשלמת המשימה ביותר מ-20% בהשוואה לתכנון עוקב.

Nvidia עובדת על הפשטה והאצת פיתוח של רובוטים אנושיים באמצעות היוזמה Project Roo. החברה מציגה מערכת כלים למפתחים במערכת האקולוגית של רובוטים אנושיים כדי לבנות את דגמי ה-AI שלהם ביעילות רבה יותר.

הרכיבים העיקריים של הגישה של Nvidia כוללים:

1. צינור יצירת נתונים סינתטיים: Nvidia מתחילה עם הדגמות שנאספו על-ידי בני אדם באמצעות התקני מציאות מעורבת כמו Apple Vision Pro. לאחר מכן הם מכפילים נתונים אלה פי אלף או יותר באמצעות כלי הדמיה של Nvidia כמו Omniverse, RoboSuite ו-MimicGen.

2. תשתית מחשוב מבוזרת: Nvidia מנצלת את פלטפורמות המחשוב DGX, OVX ו-Jetson Thor שלה כדי להניע את זרימת העבודה של הפיתוח. ה-DGX מטפל בעיבוד של וידאו וטקסט כדי להדריך את הדגם הבסיסי הרב-מודלי, ה-OVX מריץ את ערימת ההדמיה, וה-Jetson Thor משמש לבדיקת הדגם על רובוטים אמיתיים.

3. הדמיה מופעלת Omniverse: מסגרת ההדמיה Omniverse של Nvidia, המשולבת ב-Isaac Lab, מאפשרת למפתחים ליצור מספר עצום של סביבות ותצורות כדי להגדיל את מגוון נתוני ההדרכה.