蘋果公司已經開發了一套高度能力的生成式 AI 模型,深度整合到其 iOS、iPadOS 和 macOS 生態系統中。這些模型旨在解決用戶的日常任務,並提供個性化的智能,以滿足個人需求。

蘋果 AI 工作的基礎是一個擁有 30 億參數的設備內語言模型,可直接在蘋果設備上運行,利用蘋果矽晶片的強大功能進行快速高效的推理。這個模型還配有一個更大的基於伺服器的語言模型,可在需要時處理更複雜的任務,運行在蘋果的私有雲基礎設施上。

這些模型已經針對各種用戶體驗進行了微調,包括撰寫和修改文本、優先處理和摘要通知、為對話創造有趣的圖像,最重要的是,支持應用內操作以簡化跨應用的互動。

蘋果公司高度重視負責任的 AI 開發,其原則旨在賦予用戶權力、真實地代表他們的需求、細心設計,並保護用戶隱私。公司已經開發了新穎的數據篩選、模型優化和動態適應技術,確保其 AI 工具高度能力、高效和安全。

通過嚴格的基準測試和人工評估,蘋果公司已經證明了其設備內和基於雲端的模型的優異性能,在摘要、安全性和指令遵循等方面優於領先的商業模型。這種方法利用了蘋果獨特的用戶數據訪問權限和與其設備的緊密集成,使公司在個性化和任務導向 AI 領域處於領先地位。

蘋果公司在負責任的 AI 開發方面的方法圍繞四個關鍵原則:

1. 用智能工具賦予用戶權力: 蘋果公司確定了 AI 可以負責任地使用的領域,以創造解決特定用戶需求的工具。他們的重點是建立深度個人化的產品,真實地代表用戶,並避免延續刻板印象或偏見。

2. 細心設計: 蘋果公司在每個過程階段都採取預防措施,包括設計、模型訓練、功能開發和質量評估,以識別潛在的濫用或危害。他們會根據用戶反饋不斷改進 AI 工具。

3. 保護隱私: 蘋果公司通過設備內處理和私有雲計算基礎設施來保護用戶隱私。他們不使用個人數據或用戶互動來訓練基礎模型。

4. 代表我們的用戶: 蘋果公司不斷努力,避免在其 AI 工具和模型中延續刻板印象和系統性偏見,目標是真實地代表全球各地的用戶。

通過堅持這些原則,蘋果公司旨在開發賦予用戶權力、保護隱私,並避免潛在危害或濫用的 AI 系統。這種負責任的方法是蘋果 AI 策略的關鍵差異化。

蘋果的基礎模型是使用許可數據和其網絡爬蟲 Apple Bot 收集的公開數據的組合進行訓練的。他們已經實施了幾項措施,以確保訓練數據的質量和安全性:

1. 數據過濾: 他們應用過濾器,從公開數據中刪除個人身份信息、粗俗語言和其他低質量內容。
2. 數據提取和重複數據刪除: 他們進行數據提取、重複數據刪除,並應用基於模型的分類器來識別高質量文檔。
3. 混合數據策略: 他們採用混合數據策略,在訓練管道中結合人工標註和合成數據。
4. 徹底的數據篩選和整理: 他們進行徹底的數據篩選和整理,以確保高質量的訓練數據。

在訓練後階段,蘋果公司開發了兩種新穎的算法來進一步優化模型:

1. 帶有教師委員會的拒絕採樣微調算法: 該算法使用教師委員會和來自人類反饋的強化學習來微調模型。
2. 利用鏡像下降策略優化和留一出優勢估計器的來自人類反饋的強化學習算法: 該算法利用鏡像下降策略優化和留一出優勢估計器,將人類反饋納入模型訓練過程。

為了優化模型的速度和效率,蘋果公司採用了幾種技術:

1. 組查詢注意力: 設備內和基於伺服器的模型都使用組查詢注意力。
2. 共享輸入和輸出詞彙嵌入表: 這減少了內存需求和推理成本。
3. 低位並行化: 設備內模型使用低位並行化來滿足必要的內存、功率和性能要求。
4. 混合 2 位和 4 位配置策略: 這種策略結合使用 Lora 適配器,在保持模型質量的同時實現平均每權重 3.5 位。
5. Taria 交互式模型延遲和功耗分析工具: 該工具指導每個操作的比特率選擇。
6. 激活和嵌入量化: 採用額外的量化技術來優化模型。
7. 高效的鍵值緩存更新: 開發了一種方法,在神經引擎上實現高效的鍵值緩存更新。

這些優化使設備內模型能夠實現 6 毫秒的首個令牌延遲和每秒 30 個令牌的生成速率,即使在採用令牌推測技術之前。

蘋果公司利用了一系列創新技術來優化其生成模型,以實現設備內和基於伺服器的部署。重點是實現高速和高效,以支持無縫的用戶體驗。

對於設備內推理,這個擁有 30 億參數的語言模型使用了低位並行化,這是一種關鍵的優化技術,可滿足必要的內存、功率和性能要求。為了保持質量,蘋果開發了一個新的框架,使用 Lora 適配器結合 2 位和 4 位的混合配置策略,平均每權重 3.5 位,以實現相同的準確性。

此外,蘋果發明了一個名為 Taria 的工具,這是一個交互式模型延遲和功耗分析工具,可更好地指導每個操作的比特率選擇。他們還利用了激活量化、嵌入量化,以及在神經引擎上實現高效鍵值緩存更新的方法。

通過這些優化,iPhone 15 Pro 可以實現 6 毫秒的首個令牌延遲和每秒 30 個令牌的生成速率,即使在採用令牌推測技術之前,也能提供進一步的增強。

對於基於伺服器的大型語言模型,蘋果也專注於速度和效率。他們使用共享的輸入和輸出詞彙嵌入表來減少內存需求和推理成本。伺服器模型的詞彙量為 100,000,而設備內模型為 49,000。

通過利用這些創新的優化技術,蘋果公司能夠提供高性能的 AI 模型,可以在用戶設備和其私有雲基礎設施上高效運行,提供無縫和響應式的用戶體驗。

蘋果的基礎模型針對用戶的日常活動進行了微調,並可以動態地為特定任務進行專門化。他們使用適配器 - 小型神經網絡模塊,可以插入預訓練模型的各個層中,以微調模型以支持特定任務。通過只微調適配器層,基礎預訓練模型的原始參數保持不變,保留了模型的一般知識,同時調整適配器層以支持特定任務。

這種方法允許蘋果的 AI 模型根據用戶的需求和偏好進行自適應和個性化,提供高度定制和高效的用戶體驗。這些模型可以快速專門化於摘要、寫作、編碼等任務,而不會影響基礎模型的核心知識和能力。這種動態適應是蘋果方法的關鍵差異化,使其 AI 能夠深度融入用戶的日常生活,並代表用戶完成實際有價值的任務。

蘋果公司已經對其設備內和基於伺服器的基礎模型進行了廣泛的基準測試和評估。他們更注重人工評估,因為這些結果與實際用戶體驗高度相關。

對於特定功能的性能,他們將設備內模型與微軟的 53 mini 模型進行比較。在電子郵件摘要和通知摘要任務中,蘋果的設備內模型實現了顯著更高的人工滿意度得分,分別為 87.5% 和 79%,而 53 mini 為 73% 和 73%。

除了特定功能的評估,蘋果還評估了其設備內和伺服器模型的一般能力。他們使用涵蓋創意思維、分類、問答、編碼等多種實際任務的全面提示集。與 Gemini、Mistral、53、GPT-3.5 Turbo 和 GPT-4 Turbo 等模型相比,蘋果的設備內模型表現良好,在 62% 的 Gemini、46% 的 Mistral 和 43% 的 53 中獲勝。

基於伺服器的蘋果模型的表現更好,只在這個一般能力評估中輸給了 GPT-4 Turbo 模型。

重要的是,蘋果公司高度重視安全性和有害性。在他們對輸出有害性的人工評估中,蘋果的設備內模型明顯優於競爭對手。基於伺服器的蘋果模型在有害性得分方面也遠低於封閉源的前沿模型,如 GPT-3.5 Turbo、GPT-4 Turbo 等。

蘋果公司在整個方法中都體現了對安全和負責任的 AI 開發的重視。他們開發了新穎的技術,在保持高性能和質量的同時,優化了設備內和私有雲基礎設施上的模型速度和效率。

蘋果公司在其研究論文中概述的人工智能方法是一種令人耳目一新和創新的做法。通過專注於構建高度專門化和個性化的模型,並能夠在設備上高效運行,蘋果有望提供優於競爭對手基於雲端的更通用模型的用戶體驗。

蘋果 AI 策略的關鍵亮點包括:

1. 個性化模型: 蘋果的基礎模型針對用戶的日常任務進行了微調,並可以根據每個用戶的具體需求動態適應,利用蘋果生態系統內可用的大量個人數據。

2. 設備內推理: 這個擁有 30 億參數的設備內語言模型允許快速高效的推理,每個提示令牌的延遲僅為 6 毫秒,生成速率為每秒 30 個令牌,同時仍然保持對用戶隱私和安全的強烈關注。

3. 負責任的 AI 開發: 很明顯,蘋果公司已經投入了大量思考和努力,確保其 AI 模型的開發和部署是負責任的,並設有強大的保護措施,防止濫用或潛在危害。

4. 優化技術: 蘋果公司採用了一系列創新的優化技術,如低位並行化、激活和嵌入量化,以及高效的鍵值緩存更新,以實現其設備內和基於伺服器的模型所需的性能和效率要求。

總的來說,蘋果的 AI 方法展示了他們致力於提供真正增強用戶體驗的智能個性化工具,同時優先考慮隱私、安全和負責任的開發。這一策略與蘋果的品牌和生態系統非常吻合,我們將期待這些模型在未來如何發展並融入公司的產品和服務。