Meta ha rilasciato il suo modello Llama3, un assistente chatbot AI simile a GPT-4. I risultati iniziali sono stati piuttosto impressionanti, con Llama3 che si è comportato bene su vari benchmark. La versione da 70 miliardi di parametri di Llama3 può essere eseguita su una macchina desktop potente e ha raggiunto l'82% sul benchmark del compito di codifica HumanEval, che è vicino alle prestazioni dei moderni sistemi proprietari.

Llama3 si è anche comportato bene sul test scientifico GPQA, ottenendo quasi il 40%, il che è molto impressionante. Tuttavia, le sue prestazioni sui compiti incentrati sulla matematica non sono altrettanto forti, con un punteggio del 50%, rispetto a GPT-4 di OpenAI che può raggiungere oltre il 70% su problemi matematici simili.

Inoltre, Meta sta lavorando a un modello ancora più grande da circa 400 miliardi di parametri, che dovrebbe avere miglioramenti significativi rispetto alla versione da 70 miliardi di parametri su vari test. Questo modello più grande è ancora in fase di sviluppo, ma dovrebbe essere rilasciato entro la fine dell'anno.

Le impressionanti prestazioni di Llama3 sono particolarmente degne di nota perché si tratta di un modello open-source, disponibile gratuitamente per tutti. Questo è in contrasto con i sistemi proprietari come GPT-4, che non sono liberamente accessibili. Il fatto che Llama3 sia paragonabile alle versioni precedenti di GPT-4 in alcuni aspetti è una testimonianza dei progressi dei modelli AI open-source.

Quando si tratta di valutare le prestazioni dei modelli AI, la scelta dei benchmark è cruciale. Il benchmark ideale dovrebbe trovare un equilibrio tra essere abbastanza impegnativo da differenziare i modelli, ma non così difficile che i modelli faticano a ottenere buoni risultati.

I test con un tasso di successo inferiore al 10% generalmente non sono considerati ottimi per i test, poiché diventa più difficile trarre conclusioni statisticamente significative. D'altra parte, i test con un tasso di successo dell'80-85% o superiore potrebbero iniziare a perdere di significato, poiché potrebbero potenzialmente contenere errori o avere risposte trapelate, consentendo ai modelli di replicare semplicemente le risposte corrette.

Il test GPQA, che copre una gamma di discipline scientifiche come la chimica organica, la biologia molecolare e la fisica, è citato come un buon esempio di benchmark impegnativo ma significativo. Raggiungere quasi il 40% in questo test è considerato molto impressionante.

Quando si tratta di valutare le prestazioni dei modelli AI per casi d'uso del mondo reale, la classifica Arena fornisce una valutazione più pertinente. Questo test misura le capacità dei modelli di assistere con compiti che le persone normali tipicamente svolgerebbero, piuttosto che solo sfide accademiche o tecniche.

Le intuizioni chiave sono che trovare il giusto equilibrio nella difficoltà del benchmark è cruciale e che i modelli open-source come Llama3 stanno ora ottenendo risultati notevoli, spesso pareggiando o addirittura superando i sistemi proprietari come GPT-4 su vari test.

Llama3, l'assistente chatbot AI open-source di Meta, ha dimostrato prestazioni impressionanti su vari benchmark, pareggiando i sistemi proprietari come GPT-4. Con una versione da 70 miliardi di parametri disponibile per l'uso su potenti macchine desktop, Llama3 ha raggiunto l'82% sul compito di codifica HumanEval e un impressionante 40% sul impegnativo test scientifico GPQA. Mentre le sue prestazioni matematiche al 50% sono inferiori a quelle di GPT-4 al 70%, il prossimo modello da 400 miliardi di parametri dovrebbe migliorare ulteriormente questi risultati.

Egualmente impressionante è Gemini 1.5 Pro di Google DeepMind, che ha dimostrato ottime prestazioni sulla classifica Arena, superando persino le versioni precedenti di GPT-4 in alcuni aspetti. La capacità di Gemini 1.5 Pro di apprendere da interi film e basi di codice lo distingue, e ha raggiunto il secondo posto assoluto, nonché il primo posto per prompt più lunghi.

La disponibilità di questi potenti assistenti AI, sia open-source che proprietari, segna un importante progresso nel campo. Gli utenti possono ora accedere gratuitamente a Llama3 e Gemini 1.5 Pro, al di fuori dell'UE, attraverso varie piattaforme, consentendo loro di sperimentare direttamente le capacità di questi modelli all'avanguardia.

Puoi provare i modelli AI Llama3 e Gemini 1.5 Pro gratuitamente nei seguenti modi:

1. Llama3:

   • Per quanto a conoscenza dell'autore, puoi provare Llama3 sul sito web di Meta, se ti trovi al di fuori dell'Europa.
   • Puoi anche scaricare e eseguire il modello Llama3 ovunque.
   • Ci sono siti web che ospitano Llama3 e puoi provarlo attraverso queste piattaforme. I link sono forniti nella descrizione del video.

2. Gemini 1.5 Pro:

   • Gemini 1.5 Pro, sviluppato da Google DeepMind, è anch'esso disponibile gratuitamente per essere provato, al di fuori dell'UE.
   • Il link per accedere a Gemini 1.5 Pro è fornito nella descrizione del video.

L'autore sottolinea che sia Llama3 che Gemini 1.5 Pro sono modelli AI impressionanti, quasi alla pari dei sistemi proprietari a pagamento, ma puoi utilizzarli gratuitamente.

Gli assistenti AI stanno migliorando a un ritmo sorprendente e i modelli open-source come Llama3 e Gemini 1.5 Pro sono ormai quasi altrettanto capaci dei sistemi proprietari a pagamento, come GPT-4. Questi modelli open-source sono disponibili gratuitamente per tutti, il che è uno sviluppo incredibile.

Llama3, il modello da 70 miliardi di parametri di Meta, sta ottenendo risultati notevoli su vari benchmark, incluso il impegnativo test GPQA in ambito scientifico. Anche se potrebbe non essere forte come GPT-4 in matematica, offre comunque risultati impressionanti. Inoltre, il prossimo modello Llama3 da 400 miliardi di parametri dovrebbe migliorare ulteriormente queste capacità.

Anche Gemini 1.5 Pro di Google DeepMind è un assistente AI altamente capace, che rivaleggia con le prestazioni delle versioni precedenti di GPT-4. Si distingue particolarmente nei compiti che coinvolgono prompt più lunghi e contesti complessi, come guardare interi film o apprendere basi di codice.

La disponibilità di questi modelli AI open-source, che possono essere provati gratuitamente, è un traguardo significativo. Democratizza l'accesso alla tecnologia AI avanzata e consente a tutti di esplorare e beneficiare di questi potenti strumenti. Questo è un momento meraviglioso per essere vivi, poiché stiamo assistendo ai rapidi progressi dell'AI e all'aumentata accessibilità di queste straordinarie capacità.