אפל פיתחה סוויטת דגמי בינה מלאכותית גנרטיביים מתקדמים מאוד, המשולבים עמוקות במערכות ה-iOS, ה-iPadOS והמקינטוש שלה. דגמים אלה נועדו להתמודד עם משימות יומיומיות של המשתמשים ולספק אינטליגנציה מותאמת אישית לצרכים הפרטניים של כל אחד.

הבסיס למאמצי הבינה המלאכותית של אפל הוא מודל שפה בן 3 מיליארד פרמטרים המותקן במכשיר, והוא יכול להריץ ישירות על מכשירי אפל, תוך ניצול הכוח של שבבי אפל סיליקון לביצוע מהיר ויעיל. מודל זה משולב עם מודל שפה גדול יותר, המבוסס על שרתים, המסוגל לטפל במשימות מורכבות יותר כאשר נדרש, והוא מופעל על תשתית הענן הפרטית של אפל.

מודלים אלה עברו התאמה מדויקת למגוון חוויות משתמש, כולל כתיבה ושיפור טקסט, סיווג וסיכום הודעות, יצירת תמונות משעשעות לשיחות, ובעיקר, אפשור פעולות בתוך היישומים כדי להפשיט את האינטראקציות ביישומים השונים.

אפל שמה דגש חזק על פיתוח בינה מלאכותית אחראית, עם עקרונות המעצימים את המשתמשים, מייצגים את צרכיהם באופן אותנטי, מעצבים בזהירות ומגינים על פרטיות המשתמש. החברה פיתחה טכניקות חדשניות לעיבוד נתונים, אופטימיזציה של דגמים והתאמה דינמית כדי להבטיח שכלי הבינה המלאכותית שלה יהיו בעלי יכולות גבוהות, יעילים ובטוחים.

דרך בנצ'מרקינג מקיף והערכה אנושית, אפל הוכיחה את הביצועים העליונים של הדגמים המותקנים במכשיר והמבוססים על שרתים שלה, עולים על דגמים מסחריים מובילים בתחומים כמו סיכום, בטיחות ועקיבה אחר הוראות. גישה זו, המנצלת את הגישה הייחודית של אפל לנתוני המשתמש והאינטגרציה ההדוקה עם המכשירים שלה, ממpozitionת את החברה כמובילה בתחום הבינה המלאכותית המותאמת אישית והמכוונת למשימות.

הגישה של אפל לפיתוח בינה מלאכותית אחראית מתמקדת בארבעה עקרונות עיקריים:

1. העצמת משתמשים באמצעות כלים חכמים: אפל מזהה תחומים שבהם ניתן להשתמש בבינה מלאכותית באחריות כדי ליצור כלים שמענים על צרכים ספציפיים של המשתמשים. המיקוד שלהם הוא על בניית מוצרים אישיים עמוקים המייצגים את המשתמשים באופן אותנטי ונמנעים מהנצחת סטריאוטיפים או הטיות.

2. עיצוב בזהירות: אפל נוקטת אמצעי זהירות בכל שלב של התהליך, כולל עיצוב, אימון דגם, פיתוח תכונות והערכת איכות, כדי לזהות שימוש לרעה או נזק פוטנציאלי. הם משפרים באופן מתמיד את כלי הבינה המלאכותית שלהם על בסיס משוב המשתמשים.

3. הגנה על הפרטיות: אפל מגינה על פרטיות המשתמש באמצעות עיבוד במכשיר והתשתית המחשוב הפרטית שלה בענן. הם אינם משתמשים בנתונים אישיים או באינטראקציות של המשתמש כדי להדריך את הדגמים הבסיסיים שלהם.

4. ייצוג המשתמשים שלנו: אפל עובדת ללא הרף כדי להימנע מהנצחת סטריאוטיפים והטיות מערכתיות ברחבי כלי הבינה המלאכותית והדגמים שלה, במטרה לייצג משתמשים ברחבי העולם באופן אותנטי.

בהתמדה בעקרונות אלה, אפל שואפת לפתח מערכות בינה מלאכותית המעצימות את המשתמשים, מגינות על פרטיותם ומונעות נזקים או שימוש לרעה פוטנציאליים. גישה אחראית זו היא מבדיל מפתח באסטרטגיית הבינה המלאכותית של אפל.

הדגמים הבסיסיים של אפל מאומנים באמצעות שילוב של נתונים מורשים ונתונים ציבוריים זמינים שנאספו על ידי הרובוט האינטרנטי שלהם, Apple Bot. הם יישמו מספר אמצעים להבטחת איכות ובטיחות נתוני האימון:

1. סינון נתונים: הם מחילים מסננים להסרת מידע מזהה אישית, גסויות ותוכן באיכות נמוכה מהנתונים הציבוריים הזמינים.
2. استخراج והסרת כפילויות נתונים: הם מבצעים استخراج נתונים, הסרת כפילויות ויישום של מסווגים מבוססי דגם כדי לזהות מסמכים באיכות גבוהה.
3. אסטרטגיית נתונים היברידית: הם משתמשים באסטרטגיית נתונים היברידית, המשלבת נתונים מסומנים על ידי אנשים ונתונים סינתטיים בצנרת האימון שלהם.
4. עיבוד ופילטור נתונים מקיפים: הם מבצעים עיבוד ופילטור נתונים מקיפים כדי להבטיח נתוני אימון באיכות גבוהה.

בשלב שלאחר האימון, אפל פיתחה שני אלגוריתמים חדשניים כדי לאפשר אופטימיזציה נוספת של הדגמים:

1. אלגוריתם התאמה מדויקת באמצעות דגימת דחייה עם ועדת מורים: אלגוריתם זה משתמש בוועדת מורים ובלמידה מחיזוק מתגובות אנושיות כדי להתאים את הדגמים באופן מדויק.
2. אלגוריתם למידה מחיזוק מתגובות אנושיות עם אופטימיזציית מדיניות ירידה במראה ואומדן יתרון חד-צדדי: אלגוריתם זה מנצל אופטימיזציית מדיניות ירידה במראה ואומדן יתרון חד-צדדי כדי לשלב משוב אנושי בתהליך אימון הדגם.

כדי לאפשר אופטימיזציה של הדגמים למהירות ויעילות, אפל השתמשה במספר טכניקות:

1. תשומת קבוצתית: הן הדגם המותקן במכשיר והן הדגם המבוסס על שרתים משתמשים בתשומת קבוצתית.
2. טבלאות אמבדינג של קלט ופלט משותפות: זה מקטין את דרישות הזיכרון ועלויות ההסקה.
3. מקבילות ביט נמוך: הדגם המותקן במכשיר משתמש במקבילות ביט נמוך כדי להשיג את דרישות הזיכרון, החשמל והביצועים הנדרשים.
4. אסטרטגיית תצורה של 2 ביט ו-4 ביט מעורבת: אסטרטגיה זו, בשילוב עם השימוש במתאמי Lora, שומרת על איכות הדגם תוך השגת ממוצע של 3.5 ביט לכל משקל.
5. כלי ניתוח עצירה ואנרגיה אינטראקטיבי של Taria: כלי זה מנחה את בחירת קצב הביטים לכל פעולה.
6. כמות והטמעת כמות: טכניקות כמות נוספות מיושמות כדי לאפשר אופטימיזציה של הדגמים.
7. עדכון מטמון מפתח-ערך יעיל: גישה פותחה לאפשר עדכון יעיל של מטמון מפתח-ערך במנועי העצבים.

אופטימיזציות אלה אפשרו לדגם המותקן במכשיר להשיג זמן עד לטוקן הראשון של 6 מילישניות ושיעור יצירה של 30 טוקנים לשנייה, אפילו לפני שימוש בטכניקות ספקולציה של טוקנים.

אפל ניצלה מגוון טכניקות חדשניות כדי לאפשר אופטימיזציה של הדגמים הגנרטיביים שלה הן להרצה במכשיר והן להרצה מבוססת שרתים. הדגש היה על השגת מהירות וביעילות גבוהות כדי לאפשר חוויות משתמש חלקות.

לצורך הסקה במכשיר, מודל השפה בן 3 מיליארד הפרמטרים משתמש במקבילות ביט נמוך, טכניקת אופטימיזציה קריטית המשיגה את דרישות הזיכרון, החשמל והביצועים הנדרשים. כדי לשמור על איכות, אפל פיתחה מסגרת חדשה באמצעות מתאמי Lora המשלבת אסטרטגיית תצורה של 2 ביט ו-4 ביט, ממוצע של 3.5 ביט לכל משקל כדי להשיג את אותה דיוק.

בנוסף, אפל המציאה כלי בשם Taria, כלי אינטראקטיבי לניתוח עצירה ואנרגיה של דגם המנחה טוב יותר את בחירת קצב הביטים לכל פעולה. הם גם ניצלו כמות של הפעלה, כמות של אמבדינג וגישה לאפשר עדכון יעיל של מטמון מפתח-ערך במנועי העצבים שלהם.

עם אופטימיזציות אלה, ה-iPhone 15 Pro יכול להשיג זמן עד לטוקן הראשון של 6 מילישניות ושיעור יצירה של 30 טוקנים לשנייה, אפילו לפני שימוש בטכניקות ספקולציה של טוקנים, המספקות שיפורים נוספים.

לגבי מודל השפה הגדול המבוסס על שרתים, אפל גם התמקדה במהירות ויעילות. הם משתמשים בטבלאות אמבדינג של קלט ופלט משותפות כדי להקטין את דרישות הזיכרון ועלויות ההסקה. לדגם המבוסס על שרתים יש גודל אוצר מילים של 100,000, לעומת 49,000 לדגם המותקן במכשיר.

באמצעות ניצול טכניקות האופטימיזציה החדשניות האלה, אפל הצליחה לספק דגמי בינה מלאכותית בביצועים גבוהים שיכולים להריץ ביעילות הן על מכשירי המשתמש והן על התשתית הענן הפרטית שלה, מספקים חוויית משתמ