Apple ha sviluppato una suite di modelli di intelligenza artificiale generativa altamente capaci, profondamente integrati nei suoi ecosistemi iOS, iPadOS e macOS. Questi modelli sono progettati per affrontare i compiti quotidiani degli utenti e fornire un'intelligenza personalizzata adattata alle esigenze individuali.

La base degli sforzi di intelligenza artificiale di Apple è un modello di linguaggio on-device da 3 miliardi di parametri che può essere eseguito direttamente sui dispositivi Apple, sfruttando la potenza dei chip Apple Silicon per un'inferenza rapida ed efficiente. Questo modello è affiancato da un modello di linguaggio più grande, basato su server, in grado di gestire compiti più complessi quando necessario, eseguito sull'infrastruttura cloud privata di Apple.

Questi modelli sono stati perfezionati per una varietà di esperienze utente, tra cui la scrittura e la revisione di testi, la prioritizzazione e il riassunto delle notifiche, la creazione di immagini divertenti per le conversazioni e, soprattutto, l'abilitazione di azioni in-app per semplificare le interazioni attraverso le applicazioni.

Apple ha posto una forte enfasi sullo sviluppo responsabile dell'intelligenza artificiale, con principi che valorizzano gli utenti, rappresentano autenticamente le loro esigenze, progettano con cura e proteggono la privacy degli utenti. L'azienda ha sviluppato tecniche innovative per la curatela dei dati, l'ottimizzazione dei modelli e l'adattamento dinamico, per garantire che i suoi strumenti di intelligenza artificiale siano altamente capaci, efficienti e sicuri.

L'approccio di Apple allo sviluppo responsabile dell'intelligenza artificiale è incentrato su quattro principi chiave:

1. Potenziare gli utenti con strumenti intelligenti: Apple identifica le aree in cui l'intelligenza artificiale può essere utilizzata in modo responsabile per creare strumenti che soddisfino esigenze specifiche degli utenti. Il loro focus è sulla costruzione di prodotti profondamente personali che rappresentino autenticamente gli utenti ed evitino di perpetuare stereotipi o pregiudizi.

2. Progettare con cura: Apple adotta precauzioni in ogni fase del processo, inclusi progettazione, addestramento dei modelli, sviluppo di funzionalità e valutazione della qualità, per identificare potenziali usi impropri o danni. Migliorano continuamente i loro strumenti di intelligenza artificiale sulla base dei feedback degli utenti.

3. Proteggere la privacy: Apple protegge la privacy degli utenti attraverso l'elaborazione on-device e la sua infrastruttura cloud privata. Non utilizzano dati personali o interazioni degli utenti per addestrare i loro modelli di base.

4. Rappresentare i nostri utenti: Apple lavora continuamente per evitare di perpetuare stereotipi e pregiudizi sistemici attraverso i suoi strumenti e modelli di intelligenza artificiale, con l'obiettivo di rappresentare autenticamente gli utenti in tutto il mondo.

I modelli di base di Apple sono addestrati utilizzando una combinazione di dati concessi in licenza e dati pubblicamente disponibili raccolti dal loro web crawler, l'Apple Bot. Hanno implementato diverse misure per garantire la qualità e la sicurezza dei dati di addestramento:

1. Filtraggio dei dati: Applicano filtri per rimuovere informazioni di identificazione personale, parolacce e altri contenuti di bassa qualità dai dati pubblicamente disponibili.
2. Estrazione e deduplicazione dei dati: Eseguono l'estrazione dei dati, la deduplicazione e l'applicazione di classificatori basati su modelli per identificare documenti di alta qualità.
3. Strategia ibrida dei dati: Utilizzano una strategia ibrida dei dati, incorporando sia dati annotati manualmente che dati sintetici nel loro pipeline di addestramento.
4. Accurata curatela e filtraggio dei dati: Eseguono un'accurata curatela e filtraggio dei dati per garantire dati di addestramento di alta qualità.

Nella fase post-addestramento, Apple ha sviluppato due nuovi algoritmi per ottimizzare ulteriormente i modelli:

1. Algoritmo di fine-tuning con campionamento di rifiuto con comitato di insegnanti: Questo algoritmo utilizza un comitato di insegnanti e l'apprendimento per rinforzo dai feedback umani per perfezionare i modelli.
2. Algoritmo di apprendimento per rinforzo dai feedback umani con ottimizzazione della politica di discesa a specchio e stimatore del vantaggio leave-one-out: Questo algoritmo sfrutta l'ottimizzazione della politica di discesa a specchio e uno stimatore del vantaggio leave-one-out per incorporare i feedback umani nel processo di addestramento del modello.

Per ottimizzare i modelli in termini di velocità ed efficienza, Apple ha impiegato diverse tecniche:

1. Attenzione alle query di gruppo: Sia il modello on-device che quello basato su server utilizzano l'attenzione alle query di gruppo.
2. Tabelle di incorporamento del vocabolario di input e output condivise: Ciò riduce i requisiti di memoria e i costi di inferenza.
3. Parallelizzazione a basso bit: Il modello on-device utilizza la parallelizzazione a basso bit per raggiungere i requisiti di memoria, alimentazione e prestazioni necessari.
4. Strategia di configurazione mista a 2 bit e 4 bit: Questa strategia, combinata con l'uso di adattatori Lora, mantiene la qualità del modello raggiungendo una media di 3,5 bit per peso.
5. Strumento di analisi interattiva della latenza e del consumo energetico del modello Taria: Questo strumento guida la selezione del tasso di bit per ogni operazione.
6. Quantizzazione dell'attivazione e dell'incorporamento: Vengono impiegate tecniche di quantizzazione aggiuntive per ottimizzare i modelli.
7. Aggiornamento efficiente della cache chiave-valore: È stato sviluppato un approccio per consentire un aggiornamento efficiente della cache chiave-valore sui motori neurali.

Apple ha utilizzato una serie di tecniche innovative per ottimizzare i suoi modelli generativi sia per l'esecuzione on-device che per quella basata su server. L'obiettivo è stato quello di raggiungere un'elevata velocità ed efficienza per consentire esperienze utente senza soluzione di continuità.

Per l'inferenza on-device, il modello di linguaggio da 3 miliardi di parametri utilizza la parallelizzazione a basso bit, una tecnica di ottimizzazione cruciale che raggiunge i requisiti di memoria, alimentazione e prestazioni necessari. Per mantenere la qualità, Apple ha sviluppato un nuovo framework che utilizza adattatori Lora e incorpora una strategia di configurazione mista a 2 bit e 4 bit, raggiungendo una media di 3,5 bit per peso per ottenere la stessa accuratezza.

Inoltre, Apple ha inventato uno strumento chiamato Taria, uno strumento interattivo di analisi della latenza e del consumo energetico del modello che guida meglio la selezione del tasso di bit per ogni operazione. Hanno anche utilizzato la quantizzazione dell'attivazione, la quantizzazione dell'incorporamento e un approccio per consentire un aggiornamento efficiente della cache chiave-valore sui loro motori neurali.

Grazie a queste ottimizzazioni, l'iPhone 15 Pro può raggiungere una latenza di 6 millisecondi per il primo token e un tasso di generazione di 30 token al secondo, anche prima di impiegare tecniche di speculazione sui token, che forniscono ulteriori miglioramenti.

Per il modello di linguaggio su larga scala basato su server, Apple si è concentrata anche sulla velocità e sull'efficienza. Utilizzano tabelle di incorporamento del vocabolario di input e output condivise per ridurre i requisiti di memoria e i costi di inferenza. Il modello server ha una dimensione del vocabolario di 100.000, rispetto a 49.000 per il modello on-device.

I modelli di base di Apple sono perfezionati per le attività quotidiane degli utenti e possono specializzarsi dinamicamente al volo per il compito in questione. Utilizzano adattatori - piccoli moduli di rete neurale che possono essere collegati a vari strati del modello pre-addestrato per perfezionare i modelli per compiti specifici. Perfezionando solo gli strati dell'adattatore, i parametri originali del modello di base pre-addestrato rimangono invariati, preservando la conoscenza generale del modello mentre si adattano gli strati dell'adattatore per supportare compiti specifici.

Questo approccio consente ai modelli di intelligenza artificiale di Apple di adattarsi e personalizzarsi alle esigenze e alle preferenze dell'utente, fornendo un'esperienza utente altamente personalizzata ed efficiente. I modelli possono specializzarsi rapidamente per compiti come il riassunto, la scrittura, la codifica e altro ancora, senza compromettere le conoscenze e le capacità di base del modello. Questa adattabilità dinamica è un elemento distintivo dell'approccio di Apple, che consente alla loro intelligenza artificiale di essere profondamente integrata nella vita quotidiana dell'utente e di svolgere compiti reali e preziosi per suo conto.

Apple ha condotto ampie attività di benchmarking e valutazione dei suoi modelli di base on-device e basati su server. Si concentrano sulla valutazione umana, in quanto ritengono che questi risultati siano altamente correlati con l'effettiva esperienza utente.

Per le prestazioni specifiche delle funzionalità, confrontano il loro modello on-device con il modello mini 53 di Microsoft. In compiti come il riassunto delle e-mail e il riassunto delle notifiche, il modello on-device di Apple raggiunge punteggi di soddisfazione umana significativamente più alti, intorno all'87,5% e al 79% rispettivamente, rispetto al 73% e al 73% per il 53 mini.

Oltre alla valutazione specifica delle funzionalità, Apple valuta anche le capacità generali dei suoi modelli on-device e server. Utilizzano un set completo di prompt del mondo reale che coprono compiti come brainstorming, classificazione, risposta alle domande, codifica e altro ancora. Rispetto a modelli come Gemini, Mistral, 53, GPT-3.5 Turbo e GPT-4 Turbo, il modello on-device di Apple si comporta bene, vincendo contro il 62% di Gemini, il 46% di Mistral e il 43% di 53.

Il modello Apple basato su server si comporta ancora meglio, perdendo solo contro il modello GPT-4 Turbo in questa valutazione delle capacità generali.

Importante, Apple pone una forte enfasi sulla sicurezza e sulla pericolosità. Nella loro valutazione umana della pericolosità dell'output, il modello on-device di Apple supera significativamente la concorrenza. Anche il modello Apple basato su server dimostra punteggi di pericolosità molto bassi rispetto ai modelli di frontiera a codice chiuso come GPT-3.5 Turbo, GPT-4 Turbo e altri.

L'attenzione di Apple alla sicurezza e allo sviluppo responsabile dell'intelligenza artificiale è evidente in tutto il loro approccio. Hanno sviluppato tecniche innovative per ottimizzare i loro modelli in termini di velocità ed efficienza, sia on-device che nella loro infrastruttura cloud privata, mantenendo al contempo elevate prestazioni e qualità.

L'approccio di Apple all'intelligenza artificiale, come delineato nel loro documento di ricerca, è un approccio rinfrescante e innovativo al campo. Concentrandosi sulla costruzione di modelli altamente specializzati e personalizzati in grado di funzionare in modo efficiente on-device, Apple è pronta a offrire un'esperienza utente superiore rispetto ai modelli più generalizzati e basati sul cloud dei suoi concorrenti.

I punti salienti della strategia di intelligenza artificiale di Apple includono:

1. Modelli personalizzati: I modelli di base di Apple sono perfezionati per i compiti quotidiani degli utenti e possono adattarsi dinamicamente alle esigenze specifiche di ciascun utente, sfruttando la ricchezza dei dati personali disponibili nell'ecosistema di Apple.

2. Inferenza on-device: Il modello di linguaggio on-device da 3 miliardi di parametri consente un'inferenza rapida ed efficiente, con una latenza di soli 6 millisecondi per token di prompt e un tasso di generazione di 30 token al secondo, mantenendo al contempo un forte focus sulla privacy e la sicurezza degli utenti.

3. Sviluppo responsabile dell'intelligenza artificiale: Apple ha chiaramente dedicato molti sforzi e riflessioni per garantire che i suoi modelli di intelligenza artificiale siano sviluppati e distribuiti in modo responsabile, con forti salvaguardie contro usi impropri o potenziali danni.

4. Tecniche di ottimizzazione: Apple ha impiegato una serie di tecniche di ottimizzazione innovative, come la parallelizzazione a basso bit, la quantizzazione dell'attivazione e dell'incorporamento e gli aggiornamenti efficienti della cache chiave-valore, per raggiungere i requisiti di prestazioni ed efficienza necessari per i suoi modelli on-device e basati su server.

Complessivamente, l'approccio di Apple all'intelligenza artificiale mette in mostra il loro impegno nel fornire strumenti intelligenti e personalizzati in grado di migliorare davvero l'esperienza utente, dando priorità alla privacy, alla sicurezza e allo sviluppo responsabile. Questa strategia si allinea bene con il marchio e l'ecosistema di Apple, e sarà entusiasmante vedere come questi modelli evolveranno e si integreranno nei prodotti e nei servizi dell'azienda in futuro.