שחרור האחרון של OpenAI של GPT-4 Omni הציג מודל חזק שיכול להסיק על פני אודיו, ראייה וטקסט בזמן אמת. מודל חדש זה מציע מספר יכולות מרשימות:

• אינטראקציה רב-מודלית: GPT-4 Omni יכול לקבל קלטים בצורת טקסט, אודיו, תמונות וסרטונים, ולייצר פלטים בכל שילוב של מודליות אלה. זה מאפשר אינטראקציות אדם-מחשב יותר טבעיות.

• תגובה מהירה: המודל יכול להגיב לקלטי אודיו בממוצע תוך 232 מילישניות, תואם את מהירות השיחה האנושית.

• שיפור ביצועים: GPT-4 Omni עולה על מודלים קודמים בסימוני שונים, כולל הערכת טקסט, ASR אודיו ותרגום אודיו.

• יעילות עלויות: המודל החדש זול ב-50% מ-GPT-4 Turbo הקודם, מה שהופך אותו לנגיש יותר למשתמשי API. הגרסה החינמית של ChatGPT משתמשת כעת ב-GPT-4 Omni, מאפשרת למשתמשים רבים יותר להנות מיכולותיו.

ההכרזה על GPT-4 Omni מביאה שיפורים משמעותיים במחירים וביעילות העלויות בהשוואה למודלים קודמים. כמה נקודות עיקריות:

• עלות הקלט ירדה ל-0.005 דולר לכל 1,000 אסימונים, מ-0.01 דולר עבור GPT-4 Turbo.
• עלות הפלט עכשיו 0.015 דולר לכל 1,000 אסימונים, ירדה מ-0.03 דולר עבור GPT-4 Turbo.
• תמחור הראייה זול הרבה יותר, מה שהופך את השימוש הכולל ב-GPT-4 Omni ליותר יעיל מבחינת עלויות.
• בהשוואה ל-GPT-3.5 Turbo, GPT-4 Omni מציע הפחתה של 50% במחיר, מה שהופך אותו לאפשרות נגישה יותר למפתחים ולמשתמשים.
• הגרסה החינמית של ChatGPT משתמשת כעת במודל GPT-4 Omni, מאפשרת למשתמשים רבים יותר ליהנות מהיכולות והביצועים המשופרים ללא עלות נוספת.
• עם שינויי התמחור האלה, המאמר מציע שאין סיבה להשתמש עוד במודל GPT-4 Turbo הישן, מכיוון ש-GPT-4 Omni מספק ביצועים ויעילות עלויות עדיפים.

Open AI בדק את המודל החדש GPT-4 Omni במבחני ביצועים שונים. המודל הושווה למודלי שפה אחרים כמו GPT-4 Turbo, ה-GPT-4 המקורי, Claude 3, Opus Gemini Pro 1.5, Gemini 1.0 ו-LLaMA 3.

התוצאות מראות ש-GPT-4 Omni עולה על כמעט כל מודל אחר בקטגוריות בדיקה שונות:

• הערכת טקסט: GPT-4 Omni משיג את הציונים הגבוהים ביותר.
• אודיו ASR (זיהוי דיבור אוטומטי): GPT-4 Omni עולה על גרסת Whisper 3 הקודמת, עם שיעורי שגיאה נמוכים יותר.
• תרגום אודיו: GPT-4 Omni מנצח את כל המודלים האחרים בבדיקה זו.
• M3 Exam Zero-Shot: GPT-4 Omni עולה על מודל ה-GPT-4 המקורי.
• הערכות הבנת ראייה: GPT-4 Omni משיג את הציונים הגבוהים ביותר בכל אחת מבדיקות אלה.

המאמר גם מציין שהיכולות המשופרות של GPT-4 Omni בטוקנזציית שפה תורמות ליעילות העלויות שלו. למרות שהקיצור של הטוקן לאנגלית הוא רק פי 1.1, החיסכון יכול להיות משמעותי כאשר מסקלים על כמויות גדולות של טקסט.

המאמר מציין שאחד הטעמים לכך ש-GPT-4 Omni זול יותר הוא היכולת שלו לייצג שפות בפחות טוקנים. למרות שמספר הטוקנים לאנגלית ירד רק פי 1.1, כאשר מסקלים על מאות אלפי מילים, זה יכול להביא לחיסכון משמעותי בעלויות.

המאמר מסביר שהמשפט המלא שקודם לכן היה 27 טוקנים עכשיו לוקח רק 24 טוקנים. טוקנזציית השפה והייצוג המשופרים הללו מאפשרים ל-GPT-4 Omni להיות יעיל יותר בשימוש בטוקנים, מה שמוביל להפחתה של 50% בעלויות לעומת מודלים קודמים.

המאמר מציע שיכולת מודלינג השפה המשופרת הזו היא גורם מפתח בהפיכת GPT-4 Omni לבחירה יעילה יותר מבחינת עלויות עבור מפתחים ומשתמשים, בעיקר עבור יישומים הכוללים עיבוד של כמויות גדולות של טקסט בשפות מרובות.

כמו כל מודלי ה-AI שלהם, OpenAI ממוקדת מאוד בבטיחות והגבלות של GPT-4 Omni. המאמר מציין שלמודל יש עדיין מספר מגבלות, כמו הפרעות לעיתים בזרימת השיחה ונדרשת אמירה ידנית כשהמשתמש סיים לדבר. זו בעיה שנשארה גם עם זמני התגובה המשופרים של GPT-4 Omni.

המאמר גם מזכיר שלמודל יש מאפייני בטיחות והגבלות מובנים כדי להתמודד עם שימוש לרעה או פלטים מזיקים. עם זאת, הפרטים הספציפיים של אמצעי הבטיחות האלה אינם מסופקים בחלק זה.

בכללות, למרות שGPT-4 Omni מייצג התקדמות משמעותית במודלי השפה של OpenAI, החברה נשארת זהירה ובקשבת לגבי הסיכונים והמגבלות הפוטנציאליים של הטכנולוגיה. ניטור ושיפור מתמשכים של מאפייני הבטיחות של המודל יהיו כנראה עדיפות כשהוא יוטמע בהרחבה.

GPT-4 Omni, המודל הדגל החדש של OpenAI, כעת זמין ונגיש למשתמשים. להלן הפרטים העיקריים:

• מודלי הטקסט והתמונה של GPT-4 Omni משולבים כעת בשכבת החינם של ChatGPT, מאפשרים לכל המשתמשים לגשת ליכולות אלה.
• שכבת החינם של ChatGPT יש כעת מגבלות הודעה גבוהות פי 5, מה שהופך אותה נגישה הרבה יותר למשתמשים.
• גרסה חדשה של מצב קול עם שילוב GPT-4 Omni מתוכננת להיות מושקת בשבועות הקרובים, מספקת אינטראקציות מבוססות אודיו חלקות.
• GPT-4 Omni זמין כמודל טקסט וראייה עצמאי דרך ה-API של OpenAI, מציע למפתחים פי שניים במהירות וחצי במחיר בהשוואה למודל GPT-4 Turbo הקודם.
• OpenAI מעודדת בחום את כל המפתחים לעבור למודל GPT-4 Omni, שהפך לבחירה המומלצת עם כמעט אין מקרי שימוש למודל ה-GPT-4 Turbo הישן.
• התמחור של GPT-4 Omni הופחת משמעותית, כאשר עלות הקלט ירדה ל-0.005 דולר לכל 1,000 טוקנים והפלט עומד על 0.015 דולר לכל 1,000 טוקנים, מה שהופך אותו לנגיש יותר למגוון רחב של יישומים.

בתמצית, הזמינות והנגישות של GPT-4 Omni הורחבו מאוד, כאשר המודל משולב בשכבת החינם של ChatGPT ומוצע דרך ה-API של OpenAI במחירים נוחים יותר, מה שהופך אותו לבחירה מושכת עבור מפתחים ומשתמשים כאחד.

היכולת ליצור דמויות עקביות על פני מספר תסריטים היא יכולת מפתח של המודל החדש GPT-4 Omni. על ידי אימון על קלטי חזותיים, המודל יכול כעת לייצר פלטים חזותיים שמשמרים את אותם מאפייני הדמות, כמו לבוש, אביזרים ותנוחות, גם כאשר הדמות ממוקמת בתרחישים שונים.

בדוגמאות שסופקו, המודל מסוגל להציג בעקביות את הדמות "סאלי" כמחלקת דואר מחייכת, עם התיק והמדים שלה נשארים זהים בין התסריטים השונים. זהו שיפור משמעותי לעומת מודלים קודמים, שהיו צריכים להסתמך על תיאורים טקסטואליים כדי לנסות לשמר עקביות של דמות.

המהירות והדיוק של הפלטים החזותיים של GPT-4 Omni מאפשרים גם אינטראקציות חלקות ויותר טבעיות, כאשר המודל יכול להגיב במהירות לקלטי חזות ולייצר תגובות חזותיות מתאימות. זה פותח אפשרויות חדשות ליישומים הדורשים ייצוג עקבי של דמויות, כמו סיפור אינטראקטיבי, עוזרים וירטואליים ואפילו פיתוח משחקי וידאו.

בעוד שהדוגמאות בממשק ChatGPT עשויות לא להציג במלואן את יכולות המודל, הפוטנציאל ליצירת דמויות עקביות עם GPT-4 Omni ברור. מפתחים יכולים לנצל תכונה זו כדי ליצור חוויות מעורבות ומרתקות יותר למשתמשים, ולחקור את האפשרויות של מערכות AI רב-מודליות נוספות.

המודל החדש GPT-4 Omni של OpenAI הוא התקדמות משמעותית בעיבוד שפה טבעית, המשלב קלטי טקסט, אודיו וחזותי כדי לספק אינטראקציות בזמן אמת, דומות לאנושיות. ביצועי המודל המרשימים במבחנים שונים, כמו גם העלויות הנמוכות והנגישות הגבוהה יותר, הופכים אותו לבחירה מושכת עבור מפתחים ומשתמשים.

然而, חקירת המחבר של יכולת המודל לשמר ייצוגים עקביים של דמויות על פני מ