Apple hat eine Reihe von hochleistungsfähigen generativen KI-Modellen entwickelt, die tief in ihre iOS-, iPadOS- und macOS-Ökosysteme integriert sind. Diese Modelle sind darauf ausgelegt, die alltäglichen Aufgaben der Nutzer zu bewältigen und eine auf den Einzelnen zugeschnittene Intelligenz bereitzustellen.

Die Grundlage von Apples KI-Bemühungen ist ein 3-Milliarden-Parameter-Sprach-Modell, das direkt auf Apple-Geräten ausgeführt werden kann und die Leistung der Apple-Silicon-Chips für eine schnelle und effiziente Inferenz nutzt. Dieses Modell wird durch ein größeres, serverseitiges Sprach-Modell ergänzt, das bei Bedarf komplexere Aufgaben bewältigen kann und auf Apples privater Cloud-Infrastruktur läuft.

Diese Modelle wurden für eine Vielzahl von Nutzererfahrungen verfeinert, darunter das Schreiben und Verfeinern von Texten, das Priorisieren und Zusammenfassen von Benachrichtigungen, das Erstellen von spielerischen Bildern für Konversationen und vor allem das Ermöglichen von In-App-Aktionen, um Interaktionen über Anwendungen hinweg zu vereinfachen.

Apple legt großen Wert auf eine verantwortungsvolle KI-Entwicklung, mit Prinzipien, die Nutzer stärken, ihre Bedürfnisse authentisch repräsentieren, mit Sorgfalt gestalten und die Privatsphäre der Nutzer schützen. Das Unternehmen hat neuartige Techniken für die Datenkuration, Modelloptimierung und dynamische Anpassung entwickelt, um sicherzustellen, dass seine KI-Tools hochleistungsfähig, effizient und sicher sind.

Durch rigorose Benchmarks und Bewertungen durch Menschen hat Apple die überlegene Leistung seiner geräteinternen und cloudbasierten Modelle nachgewiesen, die in Bereichen wie Zusammenfassung, Sicherheit und Befehlsausführung führende kommerzielle Modelle übertreffen. Dieser Ansatz, der Apples einzigartigen Zugang zu Nutzerdaten und die enge Integration mit ihren Geräten nutzt, positioniert das Unternehmen als Vorreiter im Bereich der personalisierten und aufgabenorientierten KI.

Apples Ansatz für eine verantwortungsvolle KI-Entwicklung basiert auf vier Schlüsselprinzipien:

1. Nutzer mit intelligenten Werkzeugen stärken: Apple identifiziert Bereiche, in denen KI verantwortungsvoll eingesetzt werden kann, um Werkzeuge zu schaffen, die spezifische Nutzerbedürfnisse erfüllen. Der Fokus liegt darauf, zutiefst persönliche Produkte zu entwickeln, die Nutzer authentisch repräsentieren und Stereotypen oder Vorurteile vermeiden.

2. Mit Sorgfalt gestalten: Apple trifft Vorkehrungen in jeder Phase des Prozesses, einschließlich Design, Modelltraining, Funktionsentwicklung und Qualitätsbewertung, um möglichen Missbrauch oder Schaden zu erkennen. Sie verbessern ihre KI-Tools kontinuierlich auf der Grundlage von Nutzerfeedback.

3. Privatsphäre schützen: Apple schützt die Privatsphäre der Nutzer durch Verarbeitung auf dem Gerät und ihre private Cloud-Infrastruktur. Sie verwenden keine persönlichen Daten oder Nutzerinteraktionen, um ihre Basismodelle zu trainieren.

4. Unsere Nutzer repräsentieren: Apple arbeitet kontinuierlich daran, Stereotypen und systemische Vorurteile in ihren KI-Tools und -Modellen zu vermeiden, mit dem Ziel, Nutzer auf der ganzen Welt authentisch zu repräsentieren.

Durch die Einhaltung dieser Prinzipien zielt Apple darauf ab, KI-Systeme zu entwickeln, die Nutzer stärken, ihre Privatsphäre schützen und mögliche Schäden oder Missbrauch vermeiden. Dieser verantwortungsvolle Ansatz ist ein Schlüsseldifferenzierungsmerkmal in Apples KI-Strategie.

Apples Basismodelle werden mit einer Kombination aus lizenzierten Daten und öffentlich zugänglichen Daten trainiert, die von ihrem Web-Crawler, dem Apple Bot, gesammelt werden. Sie haben mehrere Maßnahmen ergriffen, um die Qualität und Sicherheit der Trainingsdaten sicherzustellen:

1. Datenfilterung: Sie wenden Filter an, um personenbezogene Informationen, Obszönitäten und andere minderwertige Inhalte aus den öffentlich zugänglichen Daten zu entfernen.
2. Datenextraktion und Deduplizierung: Sie führen Datenextraktion, Deduplizierung und die Anwendung modellbasierter Klassifikatoren durch, um hochwertige Dokumente zu identifizieren.
3. Hybride Datenstrategie: Sie nutzen eine hybride Datenstrategie, bei der sowohl manuell annotierte als auch synthetische Daten in ihre Trainingspipeline einfließen.
4. Gründliche Datenkuration und -filterung: Sie führen eine gründliche Datenkuration und -filterung durch, um hochwertige Trainingsdaten sicherzustellen.

In der Phase nach dem Training hat Apple zwei neuartige Algorithmen entwickelt, um die Modelle weiter zu optimieren:

1. Rejection Sampling Fine-tuning Algorithm mit Teacher Committee: Dieser Algorithmus verwendet ein Lehrer-Komitee und Reinforcement Learning aus menschlichem Feedback, um die Modelle zu verfeinern.
2. Reinforcement Learning from Human Feedback Algorithm mit Mirror Descent Policy Optimization und Leave-one-out Advantage Estimator: Dieser Algorithmus nutzt Mirror Descent Policy Optimization und einen Leave-one-out Advantage Estimator, um menschliches Feedback in den Modelltrainingsprozess einzubinden.

Um die Modelle für Geschwindigkeit und Effizienz zu optimieren, hat Apple mehrere Techniken eingesetzt:

1. Group Query Attention: Sowohl das gerätebasierte als auch das serverseitige Modell nutzen Group Query Attention.
2. Gemeinsame Input- und Output-Vokabular-Embedding-Tabellen: Dies reduziert den Speicherbedarf und die Inferenzkosten.
3. Low-bit Parallelisierung: Das gerätebasierte Modell verwendet Low-bit Parallelisierung, um die erforderlichen Speicher-, Leistungs- und Leistungsanforderungen zu erfüllen.
4. Gemischte 2-Bit- und 4-Bit-Konfigurationsstrategie: Diese Strategie, kombiniert mit der Verwendung von Lora-Adaptern, erhält die Modellqualität und erreicht durchschnittlich 3,5 Bits pro Gewicht.
5. Taria Interactive Model Latency and Power Analysis Tool: Dieses Tool leitet die Bitrate-Auswahl für jeden Vorgang an.
6. Aktivierungs- und Embedding-Quantisierung: Zusätzliche Quantisierungstechniken werden eingesetzt, um die Modelle zu optimieren.
7. Effiziente Key-Value-Cache-Aktualisierung: Es wurde ein Ansatz entwickelt, um eine effiziente Key-Value-Cache-Aktualisierung auf den Neuralengines zu ermöglichen.

Diese Optimierungen haben es dem gerätebasierten Modell ermöglicht, eine Time-to-First-Token-Latenz von 6 Millisekunden und eine Generationsrate von 30 Token pro Sekunde zu erreichen, noch bevor Tokenspekulationstechniken eingesetzt werden.

Apple hat eine Reihe innovativer Techniken eingesetzt, um seine generativen Modelle sowohl für den Einsatz auf Geräten als auch auf Serverebene zu optimieren. Der Fokus lag darauf, hohe Geschwindigkeit und Effizienz zu erreichen, um nahtlose Nutzererfahrungen zu ermöglichen.

Für die Inferenz auf dem Gerät verwendet das 3-Milliarden-Parameter-Sprach-Modell eine Low-bit-Parallelisierung, eine entscheidende Optimierungstechnik, die die erforderlichen Speicher-, Leistungs- und Leistungsanforderungen erfüllt. Um die Qualität beizubehalten, entwickelte Apple einen neuen Rahmen mit Lora-Adaptern, der eine gemischte 2-Bit- und 4-Bit-Konfigurationsstrategie verwendet und im Durchschnitt 3,5 Bits pro Gewicht erreicht, um die gleiche Genauigkeit zu erzielen.

Darüber hinaus erfand Apple ein Werkzeug namens Taria, ein interaktives Modell-Latenz- und Leistungsanalyse-Tool, das eine bessere Anleitung für die Bitrate-Auswahl für jeden Vorgang bietet. Sie verwendeten auch Aktivierungsquantisierung, Embedding-Quantisierung und einen Ansatz, um eine effiziente Key-Value-Cache-Aktualisierung auf ihren Neuralengines zu ermöglichen.

Mit diesen Optimierungen kann das iPhone 15 Pro eine Time-to-First-Token-Latenz von 6 Millisekunden und eine Generationsrate von 30 Token pro Sekunde erreichen, noch bevor Tokenspekulationstechniken eingesetzt werden, die weitere Verbesserungen bringen.

Für das serverseitige große Sprach-Modell hat sich Apple ebenfalls auf Geschwindigkeit und Effizienz konzentriert. Sie verwenden gemeinsame Input- und Output-Vokabular-Embedding-Tabellen, um den Speicherbedarf und die Inferenzkosten zu reduzieren. Das Servermodell hat eine Vokabelgröße von 100.000, verglichen mit 49.000 für das gerätebasierte Modell.

Durch den Einsatz dieser innovativen Optimierungstechniken konnte Apple leistungsfähige KI-Modelle entwickeln, die sowohl auf Nutzergeräten als auch auf ihrer privaten Cloud-Infrastruktur effizient laufen und so ein nahtloses und reaktionsschnelles Nutzererlebnis bieten.

Apples Basismodelle werden für die alltäglichen Aktivitäten der Nutzer verfeinert und können sich dynamisch auf die jeweilige Aufgabe spezialisieren. Sie verwenden Adapter - kleine neuronale Netzwerkmodule, die in verschiedene Schichten des vortrainierten Modells eingesteckt werden können, um die Modelle für spezifische Aufgaben zu verfeinern. Durch das Feintuning nur der Adapterebenen bleiben die ursprünglichen Parameter des Basismodells unverändert, wodurch das allgemeine Wissen des Modells erhalten bleibt, während die Adapterebenen auf spezifische Aufgaben zugeschnitten werden.

Dieser Ansatz ermöglicht es den KI-Modellen von Apple, sich an die Bedürfnisse und Vorlieben des Nutzers anzupassen und eine hochgradig individualisierte und effiziente Nutzererfahrung zu bieten. Die Modelle können sich schnell für Aufgaben wie Zusammenfassung, Schreiben, Programmieren und mehr spezialisieren, ohne die Kernkenntnisse und -fähigkeiten des Basismodells zu beeinträchtigen. Diese dynamische Anpassung ist ein Schlüsseldifferenzierungsmerkmal von Apples Ansatz und ermöglicht es ihrer KI, tief in den Alltag des Nutzers integriert zu sein und echte, wertvolle Aufgaben in seinem Namen zu erledigen.

Apple hat umfangreiche Benchmarks und Bewertungen seiner geräteinternen und serverseitigen Basismodelle durchgeführt. Sie konzentrieren sich auf die Bewertung durch Menschen, da diese Ergebnisse stark mit der tatsächlichen Nutzererfahrung korrelieren.

Für die leistungsspezifische Bewertung vergleichen sie ihr geräteinternes Modell mit Microsofts 53 mini Modell. Bei Aufgaben wie E-Mail-Zusammenfassung und Benachrichtigungszusammenfassung erreicht Apples geräteinternes Modell deutlich höhere Werte für die Nutzerzufriedenheit, rund 87,5% bzw. 79%, verglichen mit 73% und 73% für das 53 mini.

Neben der leistungsspezifischen Bewertung beurteilen Apple auch die allgemeinen Fähigkeiten ihrer geräteinternen und serverseitigen Modelle. Sie verwenden einen umfassenden Satz an praxisnahen Aufforderungen, die Aufgaben wie Ideenfindung, Klassifizierung, Frage-Antwort, Programmierung und mehr abdecken. Im Vergleich zu Modellen wie Gemini, Mistral, 53, GPT-3.5 Turbo und GPT-4 Turbo schneidet Apples geräteinternes Modell gut ab und gewinnt gegen 62% von Gemini, 46% von Mistral und 43% von 53.

Das serverseitige Apple-Modell schneidet sogar noch besser ab und verliert nur gegen das GPT-4 Turbo-Modell in dieser allgemeinen Fähigkeitsbewertung.

Wichtig ist, dass Apple einen starken Schwerpunkt auf Sicherheit und Schädlichkeit legt. Bei ihrer Bewertung der Ausgabeschädlichkeit durch Menschen übertrifft das Apple-Gerätemodell die Konkurrenz deutlich. Das serverseitige Apple-Modell zeigt auch sehr geringe Schädlichkeitswerte im Vergleich zu geschlossenen Frontier-Modellen wie GPT-3.5 Turbo, GPT-4 Turbo und anderen.

Apples Fokus auf Sicherheit und verantwortungsvolle KI-Entwicklung ist in ihrem gesamten Ansatz erkennbar. Sie haben neuartige Techniken entwickelt, um ihre Modelle für Geschwindigkeit und Effizienz sowohl auf Geräten als auch in ihrer privaten Cloud-Infrastruktur zu optimieren, während sie hohe Leistung und Qualität beibehalten.

Apples Ansatz für Künstliche Intelligenz, wie in ihrem Forschungspapier dargelegt, ist ein erfrischender und innovativer Blick auf dieses Feld. Indem sie sich auf den Aufbau hochspezialisierter, personalisierter Modelle konzentrieren, die effizient auf Geräten laufen können, ist Apple in einer guten Position, um im Vergleich zu den eher generalisierten, clou