Il futuro dell'IA è destinato a spostarsi lontano dall'infrastruttura basata sul cloud, energivora, che ha dominato i titoli. Invece, l'industria sta andando verso un approccio più efficiente e decentralizzato, in cui l'elaborazione dell'IA viene spinta sui dispositivi edge come smartphone, laptop e persino auto.

Aziende di chip come Qualcomm stanno guidando questa carica, sviluppando processori potenti ed efficienti dal punto di vista energetico appositamente progettati per eseguire modelli di linguaggio di grandi dimensioni e altri carichi di lavoro di IA localmente sui dispositivi. Questo approccio offre diversi vantaggi chiave, tra cui una migliore privacy, sicurezza, latenza e convenienza.

I progressi nelle tecniche di compressione e orchestrazione dei modelli stanno consentendo la distribuzione di modelli di IA altamente capaci sui dispositivi edge. Progetti come Mixture of Agents e RouteLL M dimostrano come più modelli piccoli ed efficienti possano collaborare per produrre risultati paragonabili a quelli di modelli più grandi e costosi. Ciò consente di gestire il 90% dei casi d'uso con modelli locali a basso costo, con conseguenti significativi risparmi di costi.

Il futuro dell'IA si sta spostando verso l'edge computing, dove modelli di IA potenti ma efficienti possono essere distribuiti direttamente sui dispositivi come smartphone, laptop e persino auto. Questo approccio offre diversi vantaggi, tra cui una maggiore privacy, sicurezza, bassa latenza e costi ridotti rispetto all'affidamento esclusivo all'elaborazione dell'IA basata sul cloud.

I produttori di chip come Qualcomm stanno guidando la carica nello sviluppo di processori specializzati ottimizzati per l'esecuzione di grandi modelli di linguaggio e altri carichi di lavoro di IA sui dispositivi edge. Questi chip sono progettati per essere altamente efficienti dal punto di vista energetico, consentendo una perfetta integrazione delle capacità di IA in un'ampia gamma di applicazioni.

I progressi nelle tecniche di compressione e orchestrazione dei modelli, come Mixture of Agents e RouteLL, stanno consentendo la distribuzione di modelli di IA più piccoli ed efficienti in grado di offrire prestazioni paragonabili a quelle di modelli più grandi e più resource-intensive. Queste innovazioni consentono di gestire la maggior parte dei casi d'uso attraverso l'elaborazione locale sui dispositivi, riducendo la necessità di una connettività cloud costante e i relativi costi e latenza.

Il futuro dell'IA si sta muovendo verso un approccio più decentralizzato ed efficiente, in cui l'elaborazione dell'IA viene spinta sui dispositivi edge come smartphone, laptop e persino auto. Questo spostamento è guidato dai progressi nella tecnologia dei chip, poiché aziende come Qualcomm stanno sviluppando processori potenti ed efficienti dal punto di vista energetico appositamente progettati per eseguire grandi modelli di linguaggio e altri carichi di lavoro di IA sui dispositivi.

Una delle principali innovazioni in questo ambito è lo sviluppo di livelli di orchestrazione in grado di determinare in modo intelligente quali attività di IA dovrebbero essere gestite localmente sul dispositivo edge e quali dovrebbero essere delegate a modelli più potenti ma più costosi basati sul cloud. I ricercatori hanno recentemente pubblicato articoli e codice open source che dimostrano l'efficacia di queste tecniche di orchestrazione.

Ad esempio, l'approccio "Mixture of Agents" consente a più piccoli agenti di IA di collaborare e produrre risposte paragonabili a quelle di modelli più grandi e più costosi. Allo stesso modo, il documento "Route LLM" presenta un livello di orchestrazione in grado di indirizzare il 90% dei casi d'uso verso modelli più piccoli ed efficienti, con un risparmio di costi dell'80% rispetto all'affidamento esclusivo ai modelli più potenti basati sul cloud.

Qualcomm ha presentato una serie di esperienze dimostrative alimentate dall'IA in vari dispositivi, evidenziando la visione dell'azienda per il futuro dell'elaborazione dell'IA. Queste dimostrazioni hanno mostrato le capacità dei chip Qualcomm nell'esecuzione di carichi di lavoro di IA in modo efficiente sui dispositivi edge.

Una delle dimostrazioni più sorprendenti è stata l'integrazione dell'IA nelle interfacce automobilistiche. Qualcomm ha dimostrato come i suoi chip possano alimentare il sistema di infotainment e consentire a un agente di IA di eseguire attività per conto del conducente, il tutto in esecuzione sul dispositivo. Ciò evidenzia il potenziale dell'IA per migliorare l'esperienza in auto mantenendo la privacy e la sicurezza.

Un'altra dimostrazione impressionante è stata l'integrazione dell'IA in droni intelligenti, che possono sfruttare le capacità di IA sui dispositivi per una varietà di applicazioni, dall'uso personale alle missioni di soccorso e alle consegne. I chip Qualcomm consentono a questi droni di eseguire attività di IA complesse senza affidarsi a servizi basati sul cloud.

I produttori di smartphone come Qualcomm stanno guidando la carica nell'introdurre potenti capacità di IA direttamente sui dispositivi edge. Integrando l'elaborazione avanzata dell'IA nei loro più recenti chipset per dispositivi mobili, stanno abilitando una vasta gamma di funzionalità innovative che possono essere eseguite in modo fluido sui dispositivi, senza la necessità di connettività al cloud.

Uno degli esempi più sorprendenti è la funzione di traduzione in tempo reale, in cui gli utenti possono semplicemente premere un pulsante per tradurre le conversazioni in tempo reale, il tutto alimentato dall'IA a bordo del dispositivo. Un'altra capacità impressionante è la funzione di "assistenza alla chat", che agisce come un assistente di scrittura alimentato dall'IA, aiutando gli utenti a perfezionare i loro messaggi regolando il tono, controllando l'ortografia e fornendo servizi di traduzione, il tutto senza uscire dal dispositivo.

Inoltre, le funzionalità fotografiche migliorate dall'IA di Qualcomm, come la tecnologia "nitrapyrin", sfruttano l'elaborazione sui dispositivi per offrire una qualità dell'immagine straordinaria e effetti di fotografia computazionale. Ciò consente agli utenti di godere dei vantaggi dell'editing e del miglioramento delle immagini alimentati dall'IA avanzata, senza la necessità di caricare le loro immagini sul cloud.