Apple har utvecklat en uppsättning av mycket kapabla generativa AI-modeller som är djupt integrerade i deras iOS-, iPadOS- och macOS-ekosystem. Dessa modeller är utformade för att hantera användarnas vardagliga uppgifter och tillhandahålla personlig intelligens anpassad efter individuella behov.

Grunden för Apples AI-insatser är en språkmodell med 3 miljarder parametrar som kan köras direkt på Apples enheter och utnyttjar kraften i Apples Silicon-chip för snabb och effektiv inferens. Denna modell kompletteras av en större, serverbased språkmodell som kan hantera mer komplexa uppgifter när det behövs, och som körs på Apples privata molninfrastruktur.

Dessa modeller har finslipats för en mängd olika användarupplevelser, inklusive att skriva och förfina text, prioritera och sammanfatta aviseringar, skapa lekfulla bilder för konversationer och, viktigast av allt, möjliggöra in-app-åtgärder för att förenkla interaktioner över olika applikationer.

Apples tillvägagångssätt för ansvarsfull AI-utveckling kretsar kring fyra nyckelprinciper:

1. Ge användarna intelligenta verktyg: Apple identifierar områden där AI kan användas ansvarsfullt för att skapa verktyg som tillgodoser specifika användarbehov. Deras fokus ligger på att bygga djupt personliga produkter som autentiskt representerar användarna och undviker att föreviga stereotyper eller fördomar.

2. Utforma med omsorg: Apple vidtar försiktighetsåtgärder i varje steg av processen, inklusive design, modellträning, funktionsutveckling och kvalitetsutvärdering, för att identifiera potentiell missbruk eller skada. De förbättrar kontinuerligt sina AI-verktyg baserat på användarfeedback.

3. Skydda integriteten: Apple skyddar användarnas integritet genom lokal databehandling och sin privata molninfrastruktur. De använder inte personuppgifter eller användarinteraktioner för att träna sina grundläggande modeller.

4. Representera våra användare: Apple arbetar kontinuerligt för att undvika att föreviga stereotyper och systemiska fördomar i sina AI-verktyg och -modeller, med målet att autentiskt representera användare över hela världen.

Apples grundläggande modeller tränas med en kombination av licensierade data och offentligt tillgängliga data som samlats in av deras webbkrypare, Apple Bot. De har implementerat flera åtgärder för att säkerställa kvaliteten och säkerheten hos träningsdata:

1. Datafiltrering: De tillämpar filter för att ta bort personligt identifierbar information, svordomar och annat lågkvalitativt innehåll från de offentligt tillgängliga data.
2. Dataextrahering och deduplicering: De utför dataextrahering, deduplicering och tillämpning av modellbaserade klassificerare för att identifiera högkvalitativa dokument.
3. Hybrid datastrategi: De använder en hybrid datastrategi som inkorporerar både manuellt annoterade och syntetiska data i deras träningspipeline.
4. Noggrann datakurering och filtrering: De utför noggrann datakurering och filtrering för att säkerställa högkvalitativa träningsdata.

Apple har utvecklat två nya algoritmer för att ytterligare optimera modellerna i efterträningsfasen:

1. Rejection Sampling Fine-tuning Algorithm with Teacher Committee: Denna algoritm använder en lärarkommitté och förstärkt inlärning från mänsklig feedback för att finslipa modellerna.
2. Reinforcement Learning from Human Feedback Algorithm with Mirror Descent Policy Optimization and Leave-one-out Advantage Estimator: Denna algoritm utnyttjar spegelvändning av policyoptimering och en leave-one-out-fördelseskattare för att införliva mänsklig feedback i modellträningsprocessen.

Apple har utnyttjat en rad innovativa tekniker för att optimera sina generativa modeller för både lokal och serverbased distribution. Fokus har legat på att uppnå hög hastighet och effektivitet för att möjliggöra sömlösa användarupplevelser.

För lokal inferens använder den 3 miljarder parametrar stora språkmodellen lågbitparallelisering, en kritisk optimeringsteknik som uppfyller nödvändiga minnes-, effekt- och prestationskrav. För att bibehålla kvaliteten utvecklade Apple ett nytt ramverk med Lora-adaptrar som inkorporerar en blandad 2-bitars- och 4-bitarskonfiguration, i genomsnitt 3,5 bitar per vikt, för att uppnå samma noggrannhet.

Apples grundläggande modeller finslipas för användarnas vardagliga aktiviteter och kan dynamiskt specialisera sig på uppgiften i fråga. De använder adaptrar - små neurala nätverksmoduler som kan kopplas in i olika lager av den förtränande modellen för att finslipa modellerna för specifika uppgifter. Genom att endast finslipa adapterlagren förblir de ursprungliga parametrarna i den grundläggande förtränande modellen oförändrade, vilket bevarar modellens allmänna kunskap samtidigt som adapterlagren anpassas för att stödja specifika uppgifter.

Apple har genomfört omfattande benchmarking och utvärdering av sina lokala och serverbased grundläggande modeller. De fokuserar på mänsklig utvärdering eftersom de finner dessa resultat vara starkt korrelerade med den faktiska användarupplevelsen.

För funktionsspecifik prestanda jämför de sin lokala modell med Microsofts 53 mini-modell. I uppgifter som e-postsammanfattning och aviseringssammanfattning uppnår Apples lokala modell betydligt högre poäng för mänsklig tillfredsställelse, omkring 87,5% respektive 79%, jämfört med 73% och 73% för 53 mini.