Meta sta facendo grandi progressi con il suo progetto open-source, e sembra che stiano già lavorando a Llama 4, che potrebbe essere rilasciato entro la fine dell'anno. Tuttavia, Llama 3.1 ha dimostrato prestazioni davvero promettenti in una serie di diverse capacità, come la codifica di maschere, il seguire istruzioni e altro ancora.

Una parte che ho trovato che le persone non stanno parlando molto, ma di cui sono estremamente entusiasta, è che Meta sembra stare iniziando a investire davvero in casi d'uso legati agli agenti. Affermano di voler posizionare Llama non solo come un modello, ma come un sistema per fornire strumenti che consentano agli sviluppatori di costruire i propri agenti personalizzati, nonché nuovi tipi di comportamento agentico.

Hanno un rapporto pubblico chiamato "Llama Agentic System" in cui mostrano interi componenti dello stack Llama. Questo include cose come Llama Guard, che è un modello specializzato addestrato per moderare i contenuti, nonché Prompt Guard per prevenire le evasioni e Koser per prevenire il codice non sicuro prodotto dai grandi modelli linguistici.

Ma la parte più entusiasmante per me è la capacità di chiamata degli strumenti. La chiamata degli strumenti è probabilmente il motivo principale per cui ho dovuto usare OpenAI, perché i loro modelli sono semplicemente molto migliori per i casi d'uso degli agenti legati alla chiamata degli strumenti. Se non sai cosa sia la chiamata degli strumenti, è un concetto introdotto da OpenAI alla fine dello scorso anno. Essenzialmente, si tratta di un tipo di modello addestrato a, dato un compito dell'utente, prevedere quale funzione deve essere chiamata, nonché l'input per quella funzione, in modo da poter prendere l'output JSON per eseguire effettivamente la funzione e inviare informazioni di ritorno al grande modello linguistico.

Llama 3.1 è l'ultima versione del grande modello linguistico open-source di Meta, e ha dimostrato prestazioni impressionanti in una varietà di capacità. Alcuni punti salienti chiave includono:

• Codifica di maschere: Llama 3.1 ha mostrato ottime prestazioni nei compiti di riempimento delle maschere, in cui al modello viene chiesto di prevedere le parole o i token mancanti in un determinato contesto.
• Seguire istruzioni: Il modello si è dimostrato abile nel seguire istruzioni complesse e completare i compiti, rendendolo uno strumento prezioso per la costruzione di applicazioni interattive.
• Comportamento agentico: Meta ha investito pesantemente nello sviluppo di Llama come sistema per costruire agenti personalizzati e abilitare nuovi tipi di comportamento agentico. Ciò include componenti come Llama Guard per la moderazione dei contenuti e Prompt Guard per prevenire output non sicuri.
• Chiamata degli strumenti: Uno degli aspetti più entusiasmanti di Llama 3.1 è la sua forte prestazione nei compiti di chiamata degli strumenti. Il modello può prevedere le funzioni appropriate da chiamare e fornire gli input necessari, consentendo lo sviluppo di potenti applicazioni basate su agenti.

Meta sta investendo pesantemente nei casi d'uso legati agli agenti di Llama, posizionandolo non solo come un modello linguistico, ma come un sistema per fornire strumenti che consentano agli sviluppatori di costruire i propri agenti personalizzati e nuovi tipi di comportamento agentico.

Il sistema agentico di Llama include diversi componenti chiave:

1. Llama Guard: Un modello specializzato addestrato per moderare i contenuti e prevenire le evasioni.
2. Prompt Guard: Uno strumento per prevenire la generazione di codice non sicuro da parte dei modelli Llama.
3. Chiamata degli strumenti: Una potente capacità che consente ai modelli Llama di prevedere le funzioni necessarie per completare un compito, nonché gli input per tali funzioni. Ciò consente agli agenti di scomporre i compiti complessi in passaggi più piccoli ed eseguirli in modo efficiente.

Il modello Llama 3.1 ha dimostrato prestazioni promettenti nella chiamata degli strumenti, superando modelli come GPT-4 e Closure 3.5 nell'utilizzo degli strumenti in zero-shot. Tuttavia, i casi d'uso reali degli agenti sono più complessi, richiedendo dialoghi multi-turno, capacità di pianificazione e ragionamento.

Llama 3.1 è stato addestrato specificamente per questi dialoghi multi-turno, consentendo al modello di scrivere piani passo-passo, chiamare gli strumenti in sequenza ed eseguire il ragionamento in base ai risultati di ogni chiamata dello strumento. Questo è un importante passo avanti verso la costruzione di agenti robusti e capaci.

In primo luogo, vogliamo scaricare il modello Llama 3.1 sulla tua macchina locale e utilizzare Olama, un pacchetto che ti consente di eseguire questi grandi modelli linguistici open-source sulla tua macchina locale. Puoi aprire un terminale e digitare olama install llama-3.1 per scaricare il modello AB, che dovrebbe essere abbastanza piccolo da poter essere eseguito sul tuo MacBook Pro.

Successivamente, dobbiamo costruire un agente Llama 3.1 che esista nel tuo spazio di lavoro Slack e possa essere taggato per rispondere a domande e automatizzare i compiti. Utilizzeremo una pipeline di Retrieval-Augmented Generation (RAG), che è più facile da impostare e supporta fonti di conoscenza dinamiche come Notion o Confluence.

Utilizzeremo Llama Cloud, una piattaforma RAG completamente gestita costruita dal team di Llama Index, per connettere la nostra base di conoscenza Notion al modello Llama 3.1. Dopo aver impostato l'indice Llama Cloud, creeremo un bot Slack personalizzato e lo collegheremo al modello Llama 3.1 in esecuzione sulla nostra macchina locale.

Creeremo quindi un agente di conoscenza in grado di recuperare le informazioni rilevanti dall'indice Llama Cloud e generare risposte. Per migliorare le prestazioni dell'agente, aggiungeremo anche un agente Ox Trator per categorizzare la query dell'utente e delegare all'agente appropriato (agente di risposta o agente di recupero della conoscenza).

Infine, aggiungeremo un agente di apprendimento in grado di salvare nuove informazioni nel database Notion e attivare una sincronizzazione con Llama Cloud, consentendo all'agente di imparare e migliorare la propria conoscenza nel tempo.