הדגם החדש של Grok 1.5 Vision הפגין ביצועים מרשימים במגוון רחב של בנצ'מרקים חזותיים. מתוך שבעת בנצ'מרקים החזותיים שנבדקו, Grok עלה על דגמים רב-מודליים קיימים בשלושה מהם, כולל Math Vista, Text Visual Q&A והמערך החדש שהושק של Real World Q&A. אפילו בבנצ'מרקים האחרים, ביצועי Grok היו קרובים מאוד לדגמים מובילים אחרים כמו GPT-4, CLIP, Opus ו-Gemini Pro.

הדוגמאות המוצגות בפוסט הבלוג ממחישות את יכולת Grok לתרגם תרשימי זרימה לקוד Python פעיל, לחשב מידע על קלוריות מתוויות תזונה, ליצור סיפורים על בסיס תמונות ואפילו להבין את ההומור במימס. יכולות אלה מדגימות את ההבנה הרב-מודלית החזקה של Grok, המאפשרת לו לעבד ולהבין באופן חלק מידע חזותי וטקסטואלי.

השחרור של מערך הנתונים Real World Q&A, הכולל תמונות ממגוון מקורות, כולל כלי רכב, מרחיב את תחום ההבנה החזותית של Grok. מערך נתונים זה יכול לשמש לפיתוח והערכה של דגמים חזותיים אחרים, תורם להתקדמות של בינה מלאכותית רב-מודלית.

בעוד שחלק ניכר מיכולות Grok אינן חדשות לגמרי, העובדה שפלטפורמת X שילבה בהצלחה את הפונקציונליות הזו בדגם יחיד היא מרשימה. עם הפיכת דגם Grok 1.5 Vision לזמין למבחנים מוקדמים ולמשתמשי Grok הקיימים, יהיה מעניין לראות כיצד הוא מתנהג ביישומים בעולם האמיתי ואיך הוא משתווה לדגמים רב-מודליים מתקדמים אחרים.

יכולות הייחודיות של Gro 1.5 Vision כוללות את היכולת לייצר קוד Python פעיל מתמונות של תרשימי החלטה. תכונה זו מאפשרת למשתמשים להעביר פשוט תמונה של תרשים, והדגם יכול לתרגם את המידע החזותי הזה לקוד Python בר-ביצוע.

הדגם החדש של Gro 1.5 Vision הפגין יכולות מרשימות בהבנה ובעיבוד של מידע חזותי, כולל היכולת לחלץ נתונים מתוויות תזונה. באחת הדוגמאות שסופקו, הדגם היה מסוגל לזהות בצורה נכונה את הקלוריות לפרוסה ולאחר מכן לחשב את סך הקלוריות עבור מספר שונה של פרוסות.

Gro 1.5 Vision, הדור הראשון של הדגם הרב-מודלי של פלטפורמת X, הפגין יכולות מרשימות בהבנה ובעיבוד של מידע חזותי. הדגם יכול כעת ליצור סיפורים על בסיס תמונות ואפילו להכיר בהומור במימס.

מערך הנתונים החדש של Real-World Q&A שהושק על ידי פלטפורמת X הוא משאב ערך לפיתוח ובדיקה של דגמים חזותיים. מערך נתונים זה מורכב מכ-1,700 תמונות, כולל כאלה שצולמו מכלי רכב, אשר יכולים לשמש להערכת יכולת הדגם לחלץ נתונים ומידע מקלטים חזותיים בעולם האמיתי.

ההכרזה על Gro 1.5 Vision, הדגם הרב-מודלי הראשון מפלטפורמת X, היא ציון דרך מרשים בתחום הראייה המחשבית ועיבוד השפה הטבעית. יכולת הדגם להבין ולעבד מידע חזותי, כולל תרשימים, מסמכים, גרפים, צילומי מסך וצילומים, היא מרשימה באמת.