طورت Apple مجموعة من نماذج الذكاء الاصطناعي التوليدية عالية القدرة والمتكاملة بعمق في أنظمة iOS و iPadOS و macOS الخاصة بها. تم تصميم هذه النماذج لمعالجة المهام اليومية للمستخدمين وتوفير ذكاء شخصي مصمم خصيصًا لاحتياجات الأفراد.

تأسيس جهود الذكاء الاصطناعي في Apple هو نموذج لغة مثبت على الجهاز يتكون من 3 مليار معلمة والذي يمكن تشغيله مباشرة على أجهزة Apple، مستفيدًا من قوة رقائق Apple Silicon للاستنتاج السريع والفعال. يكمل هذا النموذج نموذج لغة أكبر قائم على الخادم والذي يمكن التعامل مع المهام الأكثر تعقيدًا عند الضرورة، ويعمل على البنية التحتية السحابية الخاصة بشركة Apple.

تم ضبط هذه النماذج لمجموعة متنوعة من تجارب المستخدم، بما في ذلك الكتابة وتحسين النص، وتحديد أولويات وتلخيص الإشعارات، وإنشاء صور مرحة للمحادثات، وما هو الأهم من ذلك، تمكين الإجراءات داخل التطبيق لتبسيط التفاعلات عبر التطبيقات.

ركزت Apple بشكل قوي على تطوير الذكاء الاصطناعي المسؤول، مع مبادئ تمكن المستخدمين، وتمثل احتياجاتهم بصدق، وتصمم بعناية، وتحمي خصوصية المستخدم. طورت الشركة تقنيات جديدة لتجميع البيانات وتحسين النماذج والتكيف الديناميكي لضمان أن تكون أدوات الذكاء الاصطناعي الخاصة بها عالية القدرة وفعالة وآمنة.

ينصب تركيز Apple على تطوير الذكاء الاصطناعي المسؤول حول أربعة مبادئ رئيسية:

1. تمكين المستخدمين بأدوات ذكية: تحدد Apple المجالات التي يمكن فيها استخدام الذكاء الاصطناعي بمسؤولية لإنشاء أدوات تلبي احتياجات المستخدمين المحددة. تركيزهم هو على بناء منتجات شخصية للغاية تمثل المستخدمين بصدق وتتجنب تكريس النمطية أو التحيزات.

2. التصميم بعناية: تتخذ Apple احتياطات في كل مرحلة من العملية، بما في ذلك التصميم وتدريب النموذج وتطوير الميزات والتقييم النوعي، لتحديد الاستخدام السيئ المحتمل أو الضرر. يقومون باستمرار بتحسين أدوات الذكاء الاصطناعي الخاصة بهم بناءً على ملاحظات المستخدمين.

3. حماية الخصوصية: تحمي Apple خصوصية المستخدم من خلال المعالجة على الجهاز والبنية التحتية الحوسبية السحابية الخاصة بها. لا يستخدمون البيانات الشخصية أو تفاعلات المستخدم لتدريب نماذجهم الأساسية.

4. تمثيل مستخدمينا: تعمل Apple باستمرار لتجنب تكريس النمطية والتحيزات المنهجية عبر أدوات وطرز الذكاء الاصطناعي الخاصة بها، بهدف تمثيل المستخدمين حول العالم بصدق.

يتم تدريب نماذج Apple الأساسية باستخدام مزيج من البيانات المرخصة والبيانات المتاحة للجمهور التي جمعها مُتصفح الويب الخاص بهم، Apple Bot. لقد نفذوا عدة تدابير لضمان جودة وسلامة بيانات التدريب:

1. تصفية البيانات: يطبقون عوامل تصفية لإزالة المعلومات التعريفية الشخصية والألفاظ البذيئة والمحتوى ذي الجودة المنخفضة من البيانات المتاحة للجمهور.
2. استخراج البيانات وإزالة التكرار: يقومون باستخراج البيانات وإزالة التكرار وتطبيق طرز تصنيف قائمة على النماذج لتحديد الوثائق عالية الجودة.
3. استراتيجية بيانات هجينة: يستخدمون استراتيجية بيانات هجينة، تجمع بين البيانات المُعلَّمة يدويًا والبيانات التخليقية في خط أنابيب التدريب الخاص بهم.
4. تنقية وتصفية البيانات الشاملة: يقومون بتنقية وتصفية البيانات بشكل شامل لضمان بيانات تدريب عالية الجودة.

في مرحلة ما بعد التدريب، طورت Apple خوارزميتين جديدتين لتحسين النماذج بشكل أكبر:

1. خوارزمية التنقيح الدقيق باستخدام عينة الرفض مع لجنة المعلم: تستخدم هذه الخوارزمية لجنة المعلم والتعلم بالتعزيز من التغذية الراجعة البشرية لتنقيح النماذج.
2. خوارزمية التعلم بالتعزيز من التغذية الراجعة البشرية مع تحسين السياسة بالانحدار المرآوي ومقدر ميزة الترك لواحد: تستخدم هذه الخوارزمية تحسين السياسة بالانحدار المرآوي ومقدر ميزة الترك لواحد لدمج التغذية الراجعة البشرية في عملية تدريب النموذج.

لتحسين النماذج من حيث السرعة والكفاءة، استخدمت Apple عدة تقنيات:

1. انتباه الاستعلام المجموعي: يستخدم كل من النموذج المثبت على الجهاز والنموذج القائم على الخادم انتباه الاستعلام المجموعي.
2. جداول تضمين المفردات المدخلة والمخرجة المشتركة: يقلل هذا من متطلبات الذاكرة وتكاليف الاستنتاج.
3. التوازي بأرقام منخفضة: يستخدم النموذج المثبت على الجهاز التوازي بأرقام منخفضة لتحقيق متطلبات الذاكرة والطاقة والأداء اللازمة.
4. استراتيجية تكوين 2 بت و 4 بت المختلطة: هذه الاستراتيجية، بالاقتران مع استخدام محولات Lora، تحافظ على جودة النموذج مع تحقيق متوسط 3.5 بت لكل وزن.
5. أداة تحليل تأخير النموذج وطاقته Taria التفاعلية: توجه هذه الأداة اختيار معدل البت لكل عملية.
6. كمية التنشيط وتضمين الكميات: يتم استخدام تقنيات كمية إضافية لتحسين النماذج.
7. تحديث ذاكرة التخزين المؤقت للمفتاح-القيمة الفعال: تم تطوير نهج لتمكين تحديث ذاكرة التخزين المؤقت للمفتاح-القيمة بفعالية على محركات الأعصاب.

استخدمت Apple مجموعة من التقنيات المبتكرة لتحسين نماذجها التوليدية لكل من التنفيذ المثبت على الجهاز والقائم على الخادم. كان التركيز على تحقيق سرعة عالية وكفاءة لتمكين تجارب المستخدم السلسة.

بالنسبة للاستنتاج المثبت على الجهاز، يستخدم نموذج اللغة المكون من 3 مليار معلمة التوازي بأرقام منخفضة، وهي تقنية تحسين حاسمة تحقق متطلبات الذاكرة والطاقة والأداء الضرورية. للحفاظ على الجودة، طورت Apple إطارًا جديدًا باستخدام محولات Lora يتضمن استراتيجية تكوين 2 بت و 4 بت مختلطة، متوسط 3.5 بت لكل وزن لتحقيق نفس الدقة.

بالإضافة إلى ذلك، اخترعت Apple أداة تُسمى Taria، وهي أداة تحليل تفاعلية لتأخير النموذج وطاقته تُوجه بشكل أفضل اختيار معدل البت لكل عملية. كما استخدموا كمية التنشيط وكمية التضمين ونهجًا لتمكين تحديث ذاكرة التخزين المؤقت للمفتاح-القيمة بفعالية على محركات الأعصاب الخاصة بهم.

مع هذه التحسينات، يمكن لهاتف iPhone 15 Pro تحقيق تأخير حتى أول رمز مدخل 6 ملي ثانية ومعدل إنشاء 30 رمز في الثانية، حتى قبل استخدام تقنيات توقع الرموز التي توفر مزيدًا من التحسينات.

بالنسبة للنموذج اللغوي الكبير القائم على الخادم، ركزت Apple أيضًا على السرعة والكفاءة. يستخدمون جداول تضمين المفردات المدخلة والمخرجة المشتركة لتقليل متطلبات الذاكرة وتكاليف الاستنتاج. يبلغ حجم مفردات النموذج القائم على الخادم 100,000، مقارنةً بـ 49,000 للنموذج المثبت على الجهاز.

من خلال الاستفادة من هذه التقنيات المبتكرة للتحسين، تمكنت Apple من تقديم نماذج ذكاء اصطناعي عالية الأداء يمكن تشغيلها بكفاءة على أجهزة المستخدمين وبنيتها التحتية السحابية الخاصة، مما يوفر تجربة مستخدم سلسة واستجابة.

يتم ضبط نماذج Apple الأساسية لأنشطة المستخدمين اليومية ويمكنها التخصص ديناميكيًا على الفور للمهمة المطلوبة. يستخدمون محولات - وحدات شبكية عصبية صغيرة يمكن إدخالها في طبقات مختلفة من النموذج المدرب مسبقًا لضبط النماذج لمهام محددة. من خلال ضبط طبقات المحول فقط، تظل المعلمات الأصلية للنموذج الأساسي المدرب مسبقًا دون تغيير، مما يحفظ المعرفة العامة للنموذج مع تخصيص طبقات المحول لدعم المهام المحددة.

يسمح هذا النهج لنماذج الذكاء الاصطناعي في Apple بالتكيف والتخصيص لاحتياجات ورغبات المستخدم، مما يوفر تجربة مستخدم مخصصة وفعالة للغاية. يمكن للنماذج التخصص بسرعة لمهام مثل التلخيص والكتابة والبرمجة وغير ذلك، دون المساس بالمعرفة والقدرات الأساسية للنموذج الأساسي. يُعد هذا التكيف الديناميكي أحد المميزات الرئيسية لنهج Apple، مما يمكّن ذكائهم الاصط