أطلقت OpenAI مؤخرًا GPT-4 Omni ، وهو نموذج قوي يمكنه التفكير عبر الصوت والرؤية والنص في الوقت الحقيقي. يقدم هذا النموذج الجديد العديد من القدرات المвпечатляющة:

• التفاعل متعدد الوسائط: يمكن لـ GPT-4 Omni قبول المدخلات في شكل نص وصوت وصور ومقاطع فيديو ، وإنشاء مخرجات في أي مزيج من هذه الوسائط. هذا يسمح بتفاعلات أكثر طبيعية بين الإنسان والكمبيوتر.

• الاستجابة السريعة: يمكن للنموذج الاستجابة للمدخلات الصوتية في غضون 232 مللي ثانية في المتوسط ، مما يتوافق مع سرعة المحادثة البشرية.

• تحسين الأداء: يتفوق GPT-4 Omni على النماذج السابقة في مختلف المعايير ، بما في ذلك تقييم النص والتعرف على الكلام الصوتي والترجمة الصوتية.

• الكفاءة التكلفة: النموذج الجديد أرخص بنسبة 50٪ من GPT-4 Turbo السابق ، مما يجعله أكثر إتاحة لمستخدمي API. الإصدار المجاني من ChatGPT الآن يستخدم GPT-4 Omni ، مما يسمح لمزيد من المستخدمين الاستفادة من قدراته.

يشير الإعلان عن GPT-4 Omni إلى تحسينات كبيرة في التسعير والكفاءة التكلفة مقارنة بالنماذج السابقة. أبرز النقاط الرئيسية:

• انخفض سعر المدخلات إلى 0.005 دولار لكل 1000 رمز ، من 0.01 دولار لـ GPT-4 Turbo.
• أصبح سعر المخرجات الآن 0.015 دولار لكل 1000 رمز ، منخفضًا من 0.03 دولار لـ GPT-4 Turbo.
• أصبح تسعير الرؤية أيضًا أرخص بكثير ، مما يجعل الاستخدام الإجمالي لـ GPT-4 Omni أكثر فعالية من حيث التكلفة.
• مقارنة بـ GPT-3.5 Turbo ، يوفر GPT-4 Omni خفضًا في السعر بنسبة 50٪ ، مما يجعله خيارًا أكثر إتاحة للمطورين والمستخدمين.
• الإصدار المجاني من ChatGPT الآن يستخدم نموذج GPT-4 Omni ، مما يسمح لمزيد من المستخدمين بالاستفادة من القدرات والأداء المحسنين دون تكلفة إضافية.

قامت OpenAI بإجراء اختبارات معيارية مختلفة لتقييم أداء GPT-4 Omni الجديد. تم مقارنة النموذج بنماذج لغوية أخرى مثل GPT-4 Turbo والإصدار الأصلي من GPT-4 وClaude 3 وOpus Gemini Pro 1.5 وGemini 1.0 وLLaMA 3.

تظهر النتائج أن GPT-4 Omni يتفوق على معظم النماذج الأخرى في مختلف فئات الاختبار:

• تقييم النص: يحقق GPT-4 Omni أعلى الدرجات.
• التعرف الآلي على الكلام: يتفوق GPT-4 Omni على إصدار Whisper 3 السابق ، مع معدلات خطأ أقل.
• الترجمة الصوتية: يتفوق GPT-4 Omni على جميع النماذج الأخرى في هذا الاختبار.
• امتحان M3 Zero-Shot: يتفوق GPT-4 Omni على نموذج GPT-4 الأصلي.
• تقييمات فهم الرؤية: يحقق GPT-4 Omni أعلى الدرجات في كل هذه الاختبارات.

يلاحظ المقال أن أحد الأسباب وراء رخص GPT-4 Omni هو قدرته على تمثيل اللغات في عدد أقل من الرموز. على الرغم من أن عدد الرموز للإنجليزية قد انخفض بمقدار 1.1 مرة فقط ، إلا أن هذا الادخار يمكن أن يكون كبيرًا عند تطبيقه على كميات كبيرة من النص.

يشرح المقال أن الجملة الكاملة التي كانت تأخذ 27 رمزًا الآن تأخذ 24 رمزًا فقط. تسمح هذه القدرة المحسنة على نمذجة اللغة وتمثيلها بـ GPT-4 Omni بكونه أكثر كفاءة في استخدام الرموز ، مما يؤدي إلى خفض التكلفة بنسبة 50٪ مقارنة بالنماذج السابقة.

مثل جميع نماذج الذكاء الاصطناعي الخاصة بهم ، تركز OpenAI بشكل كبير على سلامة وقيود GPT-4 Omni. يلاحظ المقال أن النموذج لا يزال لديه بعض القيود ، مثل تقطيع المحادثات أحيانًا والحاجة إلى إخباره يدويًا عندما ينتهي المستخدم من التحدث. هذه مشكلة استمرت حتى مع الاستجابة السريعة المحسنة لـ GPT-4 Omni.

يذكر المقال أيضًا أن النموذج لديه ميزات وقيود سلامة مدمجة لمعالجة الاستخدام السيئ المحتمل أو المخرجات الضارة. ومع ذلك ، لا يتم توفير تفاصيل محددة لهذه التدابير الأمنية في هذا القسم.

أصبح GPT-4 Omni ، النموذج الرائد الأحدث من OpenAI ، متاحًا على نطاق واسع ويمكن الوصول إليه من قبل المستخدمين. فيما يلي التفاصيل الرئيسية:

• تم دمج نماذج GPT-4 Omni للنص والصور في الطبقة المجانية من ChatGPT ، مما يتيح لجميع المستخدمين الوصول إلى هذه القدرات.
• أصبحت الطبقة المجانية من ChatGPT لديها حدود رسائل 5 مرات أعلى ، مما يجعلها أكثر إتاحة بكثير للمستخدمين.
• من المخطط طرح إصدار جديد من وضع الصوت مع تكامل GPT-4 Omni خلال الأسابيع القليلة المقبلة ، مما يوفر تفاعلات قائمة على الصوت بشكل سلس.
• متاح GPT-4 Omni كنموذج نص ورؤية منفصل من خلال API OpenAI ، مما يوفر للمطورين ضعف السرعة ونصف السعر مقارنة بنموذج GPT-4 Turbo السابق.
• تشجع OpenAI بشدة جميع المطورين على التحول إلى نموذج GPT-4 Omni ، حيث أصبح الخيار الموصى به مع وجود حالات استخدام تقريبًا لا تستخدم نموذج GPT-4 Turbo القديم.
• تم خفض أسعار GPT-4 Omni بشكل كبير ، حيث انخفض سعر المدخلات إلى 0.005 دولار لكل 1000 رمز وسعر المخرجات إلى 0.015 دولار لكل 1000 رمز ، مما يجعله أكثر إتاحة لمجموعة واسعة من التطبيقات.

إن القدرة على إنشاء شخصيات متسقة عبر مشاهد متعددة هي قدرة رئيسية لنموذج GPT-4 Omni الجديد. من خلال التدريب على المدخلات المرئية ، يمكن للنموذج الآن إنشاء مخرجات مرئية تحافظ على نفس سمات الشخصية ، مثل الملابس والإكسسوارات والأوضاع ، حتى عند وضع الشخصية في سيناريوهات مختلفة.

في الأمثلة المقدمة ، يمكن للنموذج أن يصور بشكل متسق الشخصية "سالي" كموظفة توصيل بريد ابتسامة ، مع حقيبتها وزيها يظلان نفسهما عبر المشاهد المختلفة. هذا تحسن كبير مقارنة بالنماذج السابقة ، والتي كانت تعتمد على الوصف النصي لمحاولة الحفاظ على اتساق الشخصية.

تسمح السرعة والدقة في المخرجات المرئية لـ GPT-4 Omni أيضًا بتفاعلات أكثر سلاسة وطبيعية ، حيث يمكن للنموذج الاستجابة بسرعة للمطالبات المرئية وإنشاء استجابات مرئية مناسبة. يفتح هذا إمكانات جديدة للتطبيقات التي تتطلب تمثيل شخصية متسق ، مثل القصص التفاعلية والمساعدين الافتراضيين وحتى تطوير ألعاب الفيديو.

إن نموذج GPT-4 Omni الجديد من OpenAI هو تقدم كبير في معالجة اللغة الطبيعية ، يجمع بين النص والصوت والمدخلات المرئية لتوفير تفاعلات في الوقت الحقيقي وشبيهة بالبشر. إن الأداء المвпечатляющ للنموذج عبر مختلف المعايير ، بالإضافة إلى انخفاض التكلفة وزيادة إمكانية الوصول ، يجعله خيارًا جذابًا للمطورين والمستخدمين على حد سواء.

ومع ذلك ، فإن استكشاف المؤلف لقدرة النموذج على الحفاظ على تمثيلات الشخصيات المتسقة عبر مشاهد متعددة يسلط الضوء على التحديات المستمرة في هذا المجال. في حين أن الأمثلة المقدمة في مقال الإعلان تشير إلى أن النموذج يمكنه الحفاظ على التفاصيل المرئية ، فإن تجارب المؤلف الخاصة داخل واجهة ChatGPT تشير إلى أن هذه القدرة قد لا تكون بنفس القوة المدعاة.

يعد اقتراح المؤلف باختبار اتساق شخصية النموذج باستخدام API بدلاً من واجهة ChatGPT اقتراحًا صالحًا ، حيث قد تكون الأخيرة خاضعة لقيود إضافية للسلامة والرقابة قد تؤثر على أداء النموذج. في النهاية ، ستكون هناك حاجة إلى مزيد من الاختبار والتجريب لفهم نطاق قدرات النموذج في هذا الصدد بشكل كامل.

بشكل عام ، يمثل إطلاق GPT-4 Omni خطوة مثيرة للاهتمام إلى الأمام في مجال الذكاء الاصطناعي متعدد الوسائط ، ويوفر تعليقات المؤلف منظورًا قيمًا على نقاط القوة والمجالات التي قد تتطلب مزيدًا من التحسين.