Apple heeft een suite van zeer capabele generatieve AI-modellen ontwikkeld die diep geïntegreerd zijn in hun iOS-, iPadOS- en macOS-ecosystemen. Deze modellen zijn ontworpen om de dagelijkse taken van gebruikers aan te pakken en gepersonaliseerde intelligentie te bieden die is afgestemd op individuele behoeften.

De basis van Apple's AI-inspanningen is een taalmodel met 3 miljard parameters dat rechtstreeks op Apple-apparaten kan worden uitgevoerd, waarbij gebruik wordt gemaakt van de kracht van Apple Silicon-chips voor snelle en efficiënte inferentie. Dit model wordt aangevuld door een groter, op de server gebaseerd taalmodel dat complexere taken kan afhandelen indien nodig, waarbij gebruik wordt gemaakt van Apple's eigen cloud-infrastructuur.

Deze modellen zijn verfijnd voor een verscheidenheid aan gebruikerservaringen, waaronder het schrijven en verfijnen van tekst, het prioriteren en samenvatten van meldingen, het maken van speelse afbeeldingen voor gesprekken en, wat het belangrijkste is, het mogelijk maken van in-app-acties om interacties tussen applicaties te vereenvoudigen.

Apple heeft sterk de nadruk gelegd op verantwoorde AI-ontwikkeling, met principes die gebruikers empoweren, hun behoeften authentiek vertegenwoordigen, met zorg ontwerpen en de privacy van gebruikers beschermen. Het bedrijf heeft nieuwe technieken ontwikkeld voor datacuratie, modeloptimalisatie en dynamische aanpassing om ervoor te zorgen dat hun AI-tools zeer capabel, efficiënt en veilig zijn.

Apple's aanpak van verantwoorde AI-ontwikkeling is gericht op vier belangrijke principes:

1. Gebruikers empoweren met intelligente tools: Apple identificeert gebieden waar AI op verantwoorde wijze kan worden gebruikt om tools te creëren die specifieke gebruikerswensen aanpakken. Hun focus ligt op het bouwen van diep persoonlijke producten die gebruikers authentiek vertegenwoordigen en stereotypen of vooroordelen vermijden.

2. Met zorg ontwerpen: Apple neemt voorzorgsmaatregelen in elke fase van het proces, waaronder ontwerp, modeltraining, functie-ontwikkeling en kwaliteitsevaluatie, om potentieel misbruik of schade te identificeren. Ze blijven hun AI-tools verbeteren op basis van feedback van gebruikers.

3. Privacy beschermen: Apple beschermt de privacy van gebruikers door verwerking op het apparaat en hun eigen cloud-infrastructuur. Ze gebruiken geen persoonlijke gegevens of gebruikersinteracties om hun basismodellen te trainen.

4. Onze gebruikers vertegenwoordigen: Apple werkt voortdurend om stereotypen en systemische vooroordelen in hun AI-tools en -modellen te vermijden, met als doel gebruikers over de hele wereld authentiek te vertegenwoordigen.

Apple's basismodellen worden getraind met een combinatie van gelicentieerde gegevens en openbaar beschikbare gegevens die zijn verzameld door hun webcrawler, de Apple Bot. Ze hebben verschillende maatregelen genomen om de kwaliteit en veiligheid van de trainingsgegevens te waarborgen:

1. Gegevensfiltering: Ze passen filters toe om persoonlijk identificeerbare informatie, schuttingtaal en ander laagwaardig materiaal uit de openbaar beschikbare gegevens te verwijderen.
2. Gegevensextractie en deduplicatie: Ze voeren gegevensextractie, deduplicatie en de toepassing van op modellen gebaseerde classificatoren uit om hoogwaardige documenten te identificeren.
3. Hybride gegevensstrategie: Ze gebruiken een hybride gegevensstrategie, waarbij ze zowel door mensen geannoteerde als synthetische gegevens in hun trainingspijplijn opnemen.
4. Grondige gegevensverwerking en -filtering: Ze voeren een grondige gegevensverwerking en -filtering uit om hoogwaardige trainingsgegevens te garanderen.

In de fase na de training heeft Apple twee nieuwe algoritmen ontwikkeld om de modellen verder te optimaliseren:

1. Rejection Sampling Fine-tuning Algorithm with Teacher Committee: Dit algoritme gebruikt een docententeam en reinforcement learning op basis van feedback van mensen om de modellen bij te stellen.
2. Reinforcement Learning from Human Feedback Algorithm with Mirror Descent Policy Optimization and Leave-one-out Advantage Estimator: Dit algoritme maakt gebruik van mirror descent policy optimization en een leave-one-out advantage estimator om feedback van mensen in het modeltrainingproces op te nemen.

Om de modellen te optimaliseren voor snelheid en efficiëntie, heeft Apple verschillende technieken toegepast:

1. Group Query Attention: Zowel de op het apparaat als de op de server gebaseerde modellen maken gebruik van group query attention.
2. Gedeelde invoer- en uitvoervocabulaire-embeddingtabellen: Dit vermindert de geheugenvereisten en inferentiekosten.
3. Low-bit parallelisatie: Het op het apparaat gebaseerde model maakt gebruik van low-bit parallelisatie om te voldoen aan de vereisten voor geheugen, energie en prestaties.
4. Gemengde 2-bit en 4-bit configuratiestrategie: Deze strategie, in combinatie met het gebruik van Lora-adapters, behoudt de modelkwaliteit terwijl een gemiddelde van 3,5 bits per gewicht wordt bereikt.
5. Taria Interactive Model Latency and Power Analysis Tool: Dit hulpmiddel begeleidt de keuze van de bitsnelheid voor elke bewerking.
6. Activering en embedding-kwantisatie: Aanvullende kwantisatietechnieken worden toegepast om de modellen te optimaliseren.
7. Efficiënte key-value cache-update: Er is een aanpak ontwikkeld om een efficiënte key-value cache-update op de neuromotoren mogelijk te maken.

Apple heeft een reeks innovatieve technieken gebruikt om hun generatieve modellen te optimaliseren voor zowel on-device als server-based inzet. De focus lag op het bereiken van hoge snelheid en efficiëntie om naadloze gebruikerservaringen mogelijk te maken.

Voor on-device inferentie gebruikt het 3 miljard parameter taalmodel low-bit parallelisatie, een cruciale optimalisatietechniek die voldoet aan de vereisten voor geheugen, energie en prestaties. Om de kwaliteit te behouden, ontwikkelde Apple een nieuw raamwerk met behulp van Lora-adapters dat een gemengde 2-bit en 4-bit configuratiestrategie incorporeert, gemiddeld 3,5 bits per gewicht, om dezelfde nauwkeurigheid te bereiken.

Bovendien heeft Apple een tool genaamd Taria ontwikkeld, een interactief hulpmiddel voor model-latentie en energieanalyse, dat de keuze van de bitsnelheid voor elke bewerking beter begeleidt. Ze hebben ook activeringsquantisatie, embedding-kwantisatie en een aanpak gebruikt om een efficiënte key-value cache-update op hun neuromotoren mogelijk te maken.

Met deze optimalisaties kan de iPhone 15 Pro een time-to-first-token latentie van 6 milliseconden en een generatiesnelheid van 30 tokens per seconde bereiken, zelfs voordat token speculatietechnieken worden toegepast, die verdere verbeteringen bieden.

Apple's basismodellen worden verfijnd voor de dagelijkse activiteiten van gebruikers en kunnen zichzelf dynamisch specialiseren voor de taak in kwestie. Ze gebruiken adapters - kleine neurale netwerkelementen die in verschillende lagen van het vooraf getrainde model kunnen worden ingeplugd om de modellen voor specifieke taken bij te stellen. Door alleen de adaptorlagen bij te stellen, blijven de oorspronkelijke parameters van het basisvooraf getrainde model ongewijzigd, waardoor de algemene kennis van het model behouden blijft terwijl de adaptorlagen worden afgestemd op specifieke taken.

Deze aanpak stelt Apple's AI-modellen in staat zich aan te passen en te personaliseren naar de behoeften en voorkeuren van de gebruiker, waardoor een zeer op maat gemaakte en efficiënte gebruikerservaring wordt geboden. De modellen kunnen zichzelf snel specialiseren voor taken zoals samenvatten, schrijven, coderen en meer, zonder de kernkennis en -mogelijkheden van het basismodel in gevaar te brengen. Deze dynamische aanpassing is een belangrijk onderscheidend kenmerk van Apple's benadering, waardoor hun AI diep geïntegreerd kan worden in het dagelijks leven van de gebruiker en echte, waardevolle taken namens hen kan uitvoeren.

Apple heeft uitgebreide benchmarking en evaluatie uitgevoerd van hun op het apparaat en op de server gebaseerde basismodellen. Ze richten zich op menselijke evaluatie omdat ze deze resultaten sterk gecorreleerd vinden met de daadwerkelijke gebruikerservaring.

Voor functie-specifieke prestaties vergelijken ze hun op het apparaat gebaseerde model met Microsoft's 53 mini-model. Op taken als e-mailsamenvatting en meldingssamenvatting bereikt het op het apparaat gebaseerde model van Apple significant hogere scores voor menselijke tevredenheid, ongeveer 87,5% en 79% respectievelijk, vergeleken met 73% en 73% voor de 53 mini.

Naast functie-specifieke evaluatie beoordelen Apple ook de algemene mogelijkheden van zowel hun op het apparaat als hun server-gebaseerde modellen. Ze gebruiken een uitgebreide set van realistische prompts die taken zoals brainstormen, classificatie, vraagbeantwoording, coderen en meer omvatten. Vergeleken met modellen als Gemini, Mistral, 53, GPT-3.5 Turbo en GPT-4 Turbo presteert het op het apparaat gebaseerde model van Apple goed, waarbij het 62% van Gemini, 46% van Mistral en 43% van 53 verslaat.

Het op de server gebaseerde Apple-model presteert nog beter, en verliest alleen van het GPT-4 Turbo-model in deze algemene evaluatie van de mogelijkheden.

Apple's aanpak van kunstmatige intelligentie, zoals uiteengezet in hun onderzoekspapier, is een verfrissende en innovatieve kijk op dit gebied. Door zich te richten op het bouwen van zeer gespecialiseerde, gepersonaliseerde modellen die efficiënt op het apparaat kunnen draaien, is Apple goed gepositioneerd om een superieure gebruikerservaring te bieden in vergelijking met de meer gegeneraliseerde, op de cloud gebaseerde modellen van hun concurrenten.

De belangrijkste hoogtepunten van Apple's AI-strategie zijn:

1. Gepersonaliseerde modellen: Apple's basismodellen zijn afgestemd op de dagelijkse taken van gebruikers en kunnen zich dynamisch aanpassen aan de specifieke behoeften van elke gebruiker, gebruikmakend van de schat aan persoonlijke gegevens die beschikbaar is binnen Apple's ecosysteem.

2. On-device inferentie: Het 3 miljard parameter taalmodel op het apparaat maakt snelle en efficiënte inferentie mogelijk, met een latentie van slechts 6 milliseconden per prompttoken en een generatiesnelheid van 30 tokens per seconde, terwijl de focus op privacy en veiligheid van gebruikers behouden blijft.

3. Verantwoorde AI-ontwikkeling: Apple heeft duidelijk veel nagedacht over en moeite gestoken in het waarborgen dat hun AI-modellen op verantwoorde wijze worden ontwikkeld en ingezet, met sterke waarborgen tegen misbruik of potentiële schade.

4. Optimalisatietechnieken: Apple heeft een reeks innovatieve optimalisatietechnieken toegepast, zoals low-bit parallelisatie, activerings- en embedding-kwantisatie en efficiënte key-value cache-updates, om de vereiste prestaties en efficiëntie voor hun op het apparaat en op de server gebaseerde modellen te bereiken.