Meta AI ha recentemente rilasciato la terza iterazione del suo modello di linguaggio LLaMA, LLaMA 3. Questo nuovo modello offre significativi progressi nelle prestazioni e nelle capacità, rendendolo una scelta convincente per gli sviluppatori e i ricercatori che lavorano su un'ampia gamma di applicazioni di intelligenza artificiale.

LLaMA 3 è disponibile in due versioni pre-addestrate e istruite, con rispettivamente 8 miliardi e 70 miliardi di parametri. Il modello è stato addestrato su un impressionante dataset di oltre 15 trilioni di token, che è sette volte più grande del dataset utilizzato per LLaMA 2. Questo dataset di addestramento ampliato include quattro volte più codice, rendendo LLaMA 3 particolarmente abile nella generazione di codice e in altri compiti legati alla programmazione.

I benchmark forniti da Meta AI dimostrano le impressionanti capacità di LLaMA 3. La versione da 8 miliardi di parametri supera i popolari modelli Galactica 7B e Mistral 7B Instruct in una varietà di compiti, tra cui l'apprendimento con pochi esempi, la risposta alle domande e il ragionamento matematico. Il modello più grande da 70 miliardi di parametri si difende anche contro il potente modello Chinchilla 1.5B, in particolare nell'area della generazione di codice.

Il rilascio di LLaMA 3 da parte di Meta AI segna un significativo passo avanti nel mondo dei modelli di linguaggio su larga scala. Questa ultima iterazione della serie LLaMA vanta prestazioni e capacità migliorate che la distinguono dai suoi predecessori.

Uno dei principali punti salienti è il miglioramento delle prestazioni all'avanguardia del modello in aree come le sfumature linguistiche, la comprensione contestuale e i compiti complessi come la traduzione e la generazione di dialoghi. Con una maggiore scalabilità e prestazioni, LLaMA 3 può gestire con facilità compiti multi-step, grazie ai processi di post-addestramento affinati di Meta che riducono significativamente i tassi di rifiuto errati, migliorano l'allineamento delle risposte e aumentano la diversità delle risposte del modello.

Le capacità del modello sono state notevolmente elevate, in particolare in aree come il ragionamento, la generazione di codice e il seguire istruzioni. Ciò è evidente nei benchmark forniti, dove LLaMA 3 supera sia Geman 7B che MISTL 7B Instruct in varie metriche, incluso l'impressionante punteggio di matematica che è triplo rispetto ai modelli concorrenti.

Il rilascio di LLaMA 3 da parte di Meta AI ha stabilito un nuovo benchmark per i modelli di linguaggio su larga scala. Secondo i benchmark forniti, la versione da 8 miliardi di parametri di LLaMA 3 supera la concorrenza, inclusi Geman 7B e MISTL 7B Instruct, in una serie di compiti.

I principali punti salienti dai benchmark includono:

• MLU 5-shot: LLaMA 3 8B segna 78.4, rispetto a 53 per Geman 7B e 58 per MISTL 7B Instruct.
• GPQA Zero-shot: LLaMA 3 8B segna 34, rispetto a 21 per Geman 7B e 26 per MISTL 7B Instruct.
• Punteggio di matematica: LLaMA 3 8B segna significativamente più alto nei compiti di matematica, quasi il triplo dei punteggi di Geman 7B e MISTL 7B Instruct.
• Generazione di codice: Il punteggio di valutazione umana per la generazione di codice è 81 per LLaMA 3 70B, rispetto a 71 per Geman Pro 1.5 e 73 per CLA 3 Sonic.

Meta ha adottato un approccio completo allo sviluppo responsabile con LLaMA 3, concentrandosi sulla fiducia e sulla sicurezza. Hanno aggiornato la loro Guida sull'Uso Responsabile (RUG) per fornire informazioni complete sullo sviluppo responsabile con i modelli di linguaggio su larga scala.

Il loro approccio incentrato sul sistema include aggiornamenti ai loro strumenti di fiducia e sicurezza, incluso LLaRD (LLaMA Responsible Development) che è stato ottimizzato per supportare la tassonomia pubblicata da ML Commons, ampliandone la copertura a un insieme più completo di categorie di sicurezza.

Ad esempio, Meta ha introdotto LLaMA Guard, un set di strumenti per rendere accessibili le funzionalità di sicurezza agli sviluppatori. Ciò include Code Shield, che valuta il codice per le pratiche di sicurezza, e CyberSec Eval 2, che controlla potenziali usi impropri come pratiche di codice non sicure, aiuto per gli attaccanti informatici, abuso dell'interprete di codice e suscettibilità all'iniezione di prompt.

Meta ha annunciato che sta integrando la versione più recente del suo modello di linguaggio LLaMA, LLaMA 3, nelle varie app e servizi. Ciò include l'integrazione di LLaMA 3 in:

• Facebook
• Instagram
• WhatsApp
• Messenger

Gli utenti potranno ora interagire direttamente con il modello LLaMA 3 all'interno di queste app per ottenere informazioni in tempo reale, rispondere a domande e completare vari compiti. L'integrazione consente agli utenti di sfruttare le capacità avanzate di LLaMA 3, come le sue prestazioni migliorate, la comprensione contestuale e il completamento di compiti multi-step, senza dover uscire dalle app che stanno già utilizzando.

Inoltre, Meta sta rendendo LLaMA 3 disponibile nell'interfaccia di inferenza di Meta AI, consentendo agli sviluppatori di accedere e utilizzare facilmente il modello per le loro applicazioni e progetti.

I modelli LLaMA 3 sono disponibili per il download e l'esplorazione attraverso il repository ufficiale di GitHub all'indirizzo github.com/facebookresearch/llama. Questo repository fornisce l'accesso al codice e ai file dei modelli, consentendo agli sviluppatori di approfondire le capacità di questa ultima iterazione della serie LLaMA.

Il repository include le seguenti risorse chiave:

1. File dei modelli: I modelli LLaMA 3 sono disponibili in due dimensioni - 8 miliardi e 70 miliardi di parametri. Questi modelli pre-addestrati possono essere scaricati e utilizzati per una vasta gamma di applicazioni.

2. Codice: Il repository GitHub contiene il codice sorgente dei modelli LLaMA 3, consentendo agli sviluppatori di comprendere l'architettura sottostante e potenzialmente perfezionare o adattare i modelli per i loro casi d'uso specifici.

3. Documentazione: Il repository include una documentazione dettagliata, fornendo indicazioni su come scaricare, impostare e utilizzare efficacemente i modelli LLaMA 3.

4. Benchmark: Il repository mostra le prestazioni di LLaMA 3 su vari benchmark, consentendo agli utenti di confrontare le sue capacità con altri modelli di linguaggio.

5. Guida sull'Uso Responsabile: Meta AI ha incluso una "Guida sull'Uso Responsabile" completa per garantire lo sviluppo etico e responsabile delle applicazioni che utilizzano i modelli LLaMA 3.