Il rapporto dell'AI Index 2024 evidenzia che l'industria continua a guidare la ricerca sull'AI di frontiera. Nel 2023, l'industria ha prodotto 51 modelli di apprendimento automatico notevoli, mentre l'accademia ne ha contribuiti solo 15. Inoltre, ci sono stati 21 modelli notevoli risultanti da collaborazioni tra industria e accademia, raggiungendo un nuovo record.

Questa tendenza dell'industria a dominare la ricerca sull'AI di frontiera continua ad aumentare. Il rapporto solleva la questione se il governo dovrebbe essere più coinvolto nei progetti di AI, poiché il ruolo guida del settore privato potrebbe creare un preoccupante squilibrio di potere in futuro.

Inoltre, il rapporto osserva che il numero di modelli di base rilasciati nel 2023 è raddoppiato rispetto al 2022, con il 65% di questi nuovi modelli rilasciati open-source, rispetto al 44% nel 2022 e al 33% nel 2021. Ciò suggerisce una tendenza crescente verso l'AI open-source, anche se i modelli limitati all'avanguardia come GPT-4 e i suoi successori rimangono closed-source.

Il rapporto fornisce anche stime dei costi di addestramento per questi modelli, con GPT-4 stimato a 78 milioni di dollari e Gemini Ultra a 191 milioni di dollari, evidenziando gli investimenti significativi richiesti per sviluppare questi sistemi di AI avanzati.

Complessivamente, il rapporto delinea un quadro della continua leadership dell'industria nella ricerca sull'AI di frontiera, con i modelli open-source che guadagnano terreno e la potenziale necessità di un maggiore coinvolgimento del governo per affrontare le preoccupazioni sugli squilibri di potere nel panorama dell'AI.

Il rapporto dell'AI Index 2024 evidenzia la crescente prominenza dei modelli di AI open-source. Alcuni punti chiave:

• Nel 2023, il 65% dei 149 nuovi modelli di base rilasciati erano open-source, rispetto al 44% nel 2022 e al 33% nel 2021. Questo mostra una chiara tendenza verso uno sviluppo di AI più open-source.

• Il numero di progetti relativi all'AI su GitHub ha visto un netto aumento del 59,3% nel 2023, più che triplicando da 4 milioni nel 2022 a 12,2 milioni nel 2023. Questa esplosione di attività open-source è stata alimentata dal rilascio di ChatGPT alla fine del 2022.

• Mentre i modelli closed-source come GPT-4 e Gemini Ultra dominano ancora in alcuni benchmark, il rapporto osserva che i sistemi open-source stanno guadagnando terreno e dominando sempre più il panorama dell'AI.

• Questa ascesa dell'AI open-source è vista come una tendenza positiva, che promuove la trasparenza e l'accessibilità. Tuttavia, rimangono preoccupazioni sui potenziali rischi di potenti modelli open-source che finiscano nelle mani sbagliate.

• I regolatori dovranno probabilmente affrontare il bilanciamento dei benefici dell'innovazione aperta con la necessità di mitigare gli usi impropri e garantire uno sviluppo responsabile di queste tecnologie trasformative.

In sintesi, il rapporto AI Index 2024 evidenzia la crescita straordinaria dell'AI open-source, che sta ridefinendo il panorama e sfidando il dominio dei modelli closed-source. Questa tendenza sarà probabilmente un'area di focus chiave per la comunità dell'AI negli anni a venire.

Questo capitolo esamina le prestazioni dei sistemi di AI attraverso una varietà di benchmark rispetto alle capacità umane. I dati mostrano una tendenza sempre più impressionante, con l'AI che supera le prestazioni umane in diversi compiti:

• L'AI ha superato le prestazioni umane in benchmark come la classificazione delle immagini, il ragionamento visivo e la comprensione dell'inglese.
• Tuttavia, l'AI è ancora indietro rispetto agli umani in compiti più complessi come la matematica a livello competitivo, il ragionamento sul buon senso visivo e la pianificazione.

La tendenza attraverso questi benchmark indica che man mano che ci avviciniamo al 2023 e oltre, l'AI sta rapidamente colmando il divario e persino superando la linea di base umana in molti ambiti. Alcuni punti chiave:

• La linea di base umana viene superata in domini come la classificazione delle immagini e la comprensione del linguaggio naturale.
• Mentre l'AI è indietro in aree come la matematica e la comprensione della lettura, il divario di prestazioni si sta rapidamente riducendo.
• Benchmark come il test Multitask Language Understanding (MMLU) mostrano che le capacità dell'AI si stanno rapidamente avvicinando al livello umano.

Questi dati suggeriscono che entro la fine del 2024, i sistemi di AI potrebbero raggiungere una parità quasi totale con gli umani in una vasta gamma di compiti cognitivi. Il continuo avanzamento di modelli linguistici di grandi dimensioni come GPT-4 è probabile che guidi ulteriori progressi nelle prestazioni dell'AI. Man mano che queste capacità crescono, sarà fondamentale monitorare sia i progressi che i limiti dei sistemi di AI rispetto alle abilità umane.

Traizionalmente, i sistemi di AI sono stati limitati nell'ambito, con i modelli linguistici eccellenti nella comprensione del testo ma carenti nell'elaborazione delle immagini, e viceversa. Tuttavia, i recenti progressi hanno portato allo sviluppo di modelli multimodali forti come Gemini di Google e GPT-4 di OpenAI.

Questi modelli dimostrano una notevole flessibilità e sono in grado di gestire sia immagini che testo. Infatti, Gemini 1.5 Pro può persino elaborare l'audio. La linea di base per la capacità di AI multimodale è continuata ad aumentare, raggiungendo il 94,04% nel 2023, rispetto alla linea di base umana del 89,8%.

Questo avanzamento nell'AI multimodale ha spinto i ricercatori a sviluppare benchmark più impegnativi, come SWE bench per la codifica, Heim per la generazione di immagini, MMU per il ragionamento generale e Mocker per il ragionamento morale. Questi nuovi benchmark mirano a spingere i confini delle capacità dell'AI e a scoprirne i limiti.

Mentre i modelli di AI hanno raggiunto la saturazione delle prestazioni su benchmark consolidati come IMAC, SNAP e SuperGLUE, l'emergere di queste valutazioni più complesse e impegnative continuerà a sfidare ricercatori e sviluppatori. La capacità di ragionare, comprendere e interagire attraverso più modalità è un passo cruciale verso sistemi di AI più versatili e capaci.

Man mano che il campo dell'AI multimodale progredisce, possiamo aspettarci di vedere ancora più impressionanti progressi negli anni a venire, con agenti di AI sempre più abili nel navigare e comprendere la natura diversa e interconnessa del mondo reale.

Il rapporto sull'indice AI evidenzia i rapidi progressi nei benchmark di AI specializzati oltre i tradizionali compiti di linguaggio e visione. Mentre i sistemi di AI continuano ad avanzare, i ricercatori hanno sviluppato benchmark più impegnativi e sfumati per valutarne le capacità.

Alcuni sviluppi chiave in quest'area includono:

1. Benchmark di codifica: L'introduzione di SWE Bench, un nuovo benchmark per valutare le capacità di codifica dei modelli di AI. Questo benchmark ha suscitato controversie, con alcune accuse che i risultati della demo non fossero interamente genuini. Tuttavia, molti progetti open-source hanno mostrato prestazioni impressionanti su questo compito impegnativo.

2. Benchmark di ragionamento: Benchmark come HEIM per il ragionamento sulle immagini, MMU per il ragionamento generale e MOCKER per il ragionamento morale sono emersi per spingere i confini delle capacità di ragionamento dell'AI. Mentre i modelli attuali sono ancora indietro rispetto agli umani in queste aree, il rapporto suggerisce che le innovazioni nel ragionamento potrebbero essere all'orizzonte, potenzialmente con il rilascio di GPT-5 e altri modelli avanzati.

3. Benchmark basati su agenti: L'Agent Bench, che valuta le prestazioni degli agenti autonomi in vari ambienti, ha mostrato miglioramenti costanti. Gli agenti di AI possono ora padroneggiare giochi complessi come Minecraft e affrontare compiti del mondo reale come l'assistenza agli acquisti e alla ricerca in modo più efficace.

4. Benchmark di generazione musicale: La valutazione dei modelli di generazione musicale su benchmark come MusicCaps ha dimostrato progressi nell'abilità dell'AI di produrre musica di alta qualità. Il rapporto osserva che il divario tra i modelli closed-source e open-source in questo dominio rimane significativo, suggerendo che le capacità più avanzate di generazione musicale si trovano ancora principalmente in sistemi proprietari.

5. Benchmark multimodali: Il rapporto evidenzia l'ascesa di potenti modelli di AI multimodali, come Gemini di Google e GPT-4 di OpenAI, in grado di gestire una combinazione di testo, immagini e persino audio. Questi modelli hanno raggiunto la parità di prestazioni con gli umani su benchmark multimodali consolidati, indicando un passo significativo in avanti nel campo.

Man mano che questi benchmark specializzati continuano a evolversi, forniranno una comprensione più sfumata e completa delle capacità e dei limiti dei moderni sistemi di AI. Il rapporto suggerisce che la capacità di ragionare, pianificare e interagire con il mondo in modi più complessi sarà un focus chiave per i futuri progressi dell'AI.

Una delle tendenze chiave evidenziate nel rapporto è la crescente enfasi sulla valutazione umana dei modelli linguistici. Il rapporto osserva che l'arena dei chatbot LMS, che utilizza test A/B in cieco e valutazioni umane per valutare le prestazioni di diversi modelli, sta diventando un benchmark sempre più importante.

Il rapporto afferma che questo approccio di valutazione umana è prezioso perché valuta le prestazioni complessive dei modelli e l'esperienza dell'utente, anziché basarsi solo su punteggi di test specifici. Il rapporto suggerisce che alcuni dei benchmark tradizionali potrebbero aver affrontato problemi di contaminazione o errori, rendendo l'approccio di valutazione umana più affidabile.

In particolare, il rapporto osserva che nell'arena dei chatbot LMS, GPT-4 Turbo è attualmente in testa, anche dopo il rilascio di Claude 3. Ciò indica che gli utenti umani stanno trovando GPT-4 Turbo il modello più efficace e desiderabile, nonostante i potenziali miglioramenti in altri modelli.

Il rapporto sostiene che questo approccio di valutazione umana dovrebbe essere utilizzato più ampiamente, in quanto fornisce una valutazione più olistica delle capacità dei modelli linguistici. Man mano che i modelli diventano sempre più sofisticati, la capacità di interagire e valutarli dalla prospettiva dell'utente sta diventando cruciale per comprendere le loro prestazioni e il loro impatto nel mondo reale.

Complessivamente, l'importanza crescente della valutazione umana evidenzia la necessità di considerare l'esperienza dell'utente e le applicazioni pratiche dei modelli linguistici, anziché concentrarsi solo sui benchmark tecnici. Questo cambiamento riflette la crescente maturità e l'impatto sociale di questi sistemi di AI, e la necessità di garantire che soddisfino le esigenze e le aspettative degli utenti umani.

La fusione della modellazione del linguaggio con la robotica ha dato vita a sistemi di robotica più flessibili come PaLM-E e RT2. Oltre alle loro capacità robotiche migliorate, questi modelli possono porre domande, il che segna un passo significativo verso robot in grado di interagire in modo più efficace con il mondo reale.

L'evoluzione di questi modelli sta aumentando le loro capacità, e la robotica è una sfida più difficile rispetto all'AI tradizionale. Tuttavia, ci saranno progressi che si complementeranno a vicenda, portando a robot più efficaci in futuro. Stiamo già vedendo dimostrazioni impressionanti, come i movimenti fluidi e scorrevoli del robot Figure One, ottenuti al 100% attraverso una rete neurale, che mostrano rapidi progressi in quest'area.

Sull'Agent Bench, che valuta i sistemi di agenti autonomi attraverso otto ambienti, il punteggio complessivo è in aumento. Creare sistemi di agenti di AI in grado di operare in modo autonomo in ambienti specifici è stata a lungo una sfida, ma la ricerca emergente suggerisce che le prestazioni degli agenti autonomi stanno migliorando. Gli agenti attuali possono ora padroneggiare giochi complessi come Minecraft ed affrontare in modo efficace compiti del mondo reale come gli acquisti e l'assistenza alla ricerca.

Il documento evidenzia i miglioramenti delle prestazioni di Voyager, un sistema Nvidia, in Minecraft, che ha utilizzato GPT-4 per aumentare le capacità di ragionamento dell'agente e consentirgli di apprendere, esplorare e pianificare in mondi aperti. Ciò dimostra il potenziale per l'utilizzo di sistemi più potenti in futuro per questo tipo di compiti di agenti autonomi.

Il rapporto evidenzia diverse tendenze chiave nello sviluppo della generazione di musica alimentata dall'AI:

1. Prestazioni migliorate sui benchmark musicali: La valutazione dei modelli di generazione musicale su benchmark consolidati come MusicCaps mostra che i sistemi di AI stanno migliorando costantemente nella loro capacità di generare musica di alta qualità. I modelli linguistici closed-source stanno superando significativamente i loro omologhi open-source su questi benchmark.

2. Emergere di modelli avanzati di generazione musicale: Modelli come Music-LM e Music-Gen hanno dimostrato capacità impressionanti nella generazione di musica, mostrando i rapidi progressi in questo dominio. Questi modelli possono ora produrre musica sempre più indistinguibile da brani composti da umani.

3. Riduzione del divario con la musica composta da umani: Il rapporto osserva che le prestazioni della musica generata dall'AI si stanno avvicinando al livello della musica composta da umani, con la differenza tra i due che diventa sempre più ridotta. Ciò suggerisce che la generazione di musica alimentata dall'AI sta raggiungendo un punto in cui può rivaleggiare con