Het 2024 AI Index-rapport benadrukt dat de industrie blijft leiden in baanbrekend AI-onderzoek. In 2023 produceerde de industrie 51 opmerkelijke machine learning-modellen, terwijl de academische wereld er slechts 15 bijdroeg. Daarnaast waren er 21 opmerkelijke modellen die voortkwamen uit samenwerkingen tussen industrie en academie, wat een nieuw hoogtepunt bereikte.

Deze trend van de industrie die de voorhoede van AI-onderzoek domineert, blijft toenemen. Het rapport werpt de vraag op of de overheid zich meer zou moeten inzetten voor AI-projecten, aangezien de leidende rol van de particuliere sector in de toekomst een zorgwekkend onevenwicht in de macht zou kunnen creëren.

Bovendien merkt het rapport op dat het aantal foundation models dat in 2023 werd uitgebracht, is verdubbeld ten opzichte van 2022, waarbij 65% van deze nieuw uitgebrachte modellen open-source is, tegenover 44% in 2022 en 33% in 2021. Dit suggereert een toenemende trend naar open-source AI, ook al blijven state-of-the-art beperkte modellen zoals GPT-4 en zijn opvolgers gesloten-bron.

Het rapport geeft ook schattingen van de trainingskosten voor deze modellen, waarbij GPT-4 wordt geschat op $78 miljoen en Gemini Ultra op $191 miljoen, wat de aanzienlijke investeringen benadrukt die nodig zijn om deze geavanceerde AI-systemen te ontwikkelen.

Overal schetst het rapport een beeld van de voortdurende leiderschap van de industrie in baanbrekend AI-onderzoek, waarbij open-source modellen terrein winnen en er mogelijk een grotere betrokkenheid van de overheid nodig is om zorgen over machtsevenwichten in het AI-landschap aan te pakken.

Het 2024 AI Index-rapport benadrukt de groeiende prominentie van open-source AI-modellen. Enkele belangrijke punten:

• In 2023 was 65% van de 149 nieuw uitgebrachte foundation models open-source, tegenover 44% in 2022 en 33% in 2021. Dit toont een duidelijke trend naar meer open-source AI-ontwikkeling.

• Het aantal AI-gerelateerde projecten op GitHub is in 2023 scherp gestegen met 59,3%, meer dan verdrievoudigd van 4 miljoen in 2022 naar 12,2 miljoen in 2023. Deze explosie van open-source activiteit werd aangewakkerd door de release van ChatGPT eind 2022.

• Hoewel gesloten-bron modellen zoals GPT-4 en Gemini Ultra nog steeds domineren op bepaalde benchmarks, merkt het rapport op dat open-source systemen steeds meer bijhalen en het AI-landschap domineren.

• Deze opmars van open-source AI wordt gezien als een positieve trend, die transparantie en toegankelijkheid bevordert. Er blijven echter zorgen bestaan over de potentiële risico's van krachtige open-source modellen die in verkeerde handen vallen.

• Regelgevers zullen waarschijnlijk moeten omgaan met het in balans brengen van de voordelen van open innovatie met de noodzaak om misbruik te beperken en de verantwoorde ontwikkeling van deze transformerende technologieën te waarborgen.

Samenvattend benadrukt het 2024 AI Index de opmerkelijke groei van open-source AI, die het landschap hervormt en de dominantie van gesloten-bron modellen uitdaagt. Deze trend zal waarschijnlijk een belangrijk aandachtspunt blijven voor de AI-gemeenschap in de komende jaren.

Dit hoofdstuk onderzoekt de prestaties van AI-systemen op een verscheidenheid aan benchmarks in vergelijking met menselijke capaciteiten. De gegevens laten een steeds indrukwekkendere trend zien, waarbij AI de menselijke prestaties op verschillende taken overtreft:

• AI heeft de menselijke prestaties overtroffen op benchmarks zoals beeldclassificatie, visueel redeneren en Engels begrip.
• AI blijft echter achter op complexere taken zoals competitief wiskunde, visueel common sense redeneren en planning.

De trend over deze benchmarks geeft aan dat naarmate we 2023 en daarna ingaan, AI snel de kloof dicht en zelfs de menselijke baseline op veel gebieden overtreft. Enkele belangrijke punten:

• De menselijke baseline wordt overschreden in domeinen als beeldclassificatie en natuurlijke taalverwerking.
• Hoewel AI achterblijft op gebieden als wiskunde en leesbegrip, krimpt de prestatiekloof snel.
• Benchmarks zoals de Multitask Language Understanding (MMLU) test laten zien dat AI-capaciteiten snel de menselijke norm benaderen.

Deze gegevens suggereren dat AI-systemen tegen het einde van 2024 bijna gelijkwaardig kunnen zijn aan mensen op een breed scala aan cognitieve taken. De voortdurende ontwikkeling van grote taalmodellen zoals GPT-4 zal waarschijnlijk verdere doorbraken in AI-prestaties aanjagen. Naarmate deze capaciteiten groeien, zal het cruciaal zijn om zowel de vooruitgang als de beperkingen van AI-systemen in vergelijking met menselijke vermogens te monitoren.

Traditiegetrouw zijn AI-systemen beperkt in reikwijdte, waarbij taalmodellen uitblinken in tekstbegrip maar falen in beeldverwerking, en vice versa. Recente vooruitgang heeft echter geleid tot de ontwikkeling van sterke multimodale modellen zoals Google's Gemini en OpenAI's GPT-4.

Deze modellen tonen opmerkelijke flexibiliteit en kunnen zowel afbeeldingen als tekst verwerken. Gemini 1.5 Pro kan zelfs audio verwerken. De baseline voor multimodale AI-capaciteit is in 2023 gestegen tot 94,04%, vergeleken met de menselijke baseline van 89,8%.

Deze vooruitgang in multimodale AI heeft onderzoekers ertoe aangezet om uitdagendere benchmarks te ontwikkelen, zoals de SWE-bench voor codering, Heim voor beeldgeneratie, MMU voor algemeen redeneren en Mocker voor moreel redeneren. Deze nieuwe benchmarks zijn bedoeld om de grenzen van AI's capaciteiten op te zoeken en de beperkingen ervan bloot te leggen.

Hoewel AI-modellen een prestatieverzadiging hebben bereikt op gevestigde benchmarks als IMAC, SNAP en SuperGLUE, zal de opkomst van deze complexere en veeleisendere evaluaties onderzoekers en ontwikkelaars blijven uitdagen. Het vermogen om te redeneren, te begrijpen en te interageren over meerdere modaliteiten is een cruciale stap naar meer veelzijdige en capabele AI-systemen.

Naarmate het veld van multimodale AI vordert, kunnen we nog meer indrukwekkende vooruitgang verwachten in de komende jaren, waarbij AI-agenten steeds beter worden in het navigeren en begrijpen van de diverse en onderling verbonden aard van de echte wereld.

Het AI-indexrapport benadrukt de snelle vooruitgang in gespecialiseerde AI-benchmarks voorbij de traditionele taal- en visietaken. Naarmate AI-systemen blijven verbeteren, hebben onderzoekers meer uitdagende en genuanceerde benchmarks ontwikkeld om hun capaciteiten te beoordelen.

Sommige belangrijke ontwikkelingen op dit gebied zijn:

1. Codebenchmarks: De introductie van de SWE Bench, een nieuwe benchmark voor het evalueren van de codeervaardigheden van AI-modellen. Deze benchmark heeft controverse veroorzaakt, waarbij sommigen beweren dat de demoresultaten niet volledig echt waren. Veel open-source projecten hebben echter indrukwekkende prestaties op deze uitdagende taak laten zien.

2. Redeneeringsbenchmarks: Benchmarks als HEIM voor beeldredeneren, MMU voor algemeen redeneren en MOCKER voor moreel redeneren zijn opgekomen om de grenzen van AI's redeneercapaciteiten op te zoeken. Hoewel huidige modellen nog steeds achterblijven bij mensen op deze gebieden, suggereert het rapport dat doorbraken in redeneren op de horizon kunnen liggen, mogelijk met de release van GPT-5 en andere geavanceerde modellen.

3. Agent-gebaseerde benchmarks: De Agent Bench, die de prestaties van autonome agenten over verschillende omgevingen evalueert, heeft gestage verbeteringen laten zien. AI-agenten kunnen nu complexe spellen als Minecraft beheersen en effectiever omgaan met real-world taken zoals winkelen en onderzoeksassistentie.

4. Muziekgeneratie-benchmarks: De evaluatie van muziekgeneratie-modellen op benchmarks als MusicCaps heeft vooruitgang in AI's vermogen om hoogwaardige muziek te produceren gedemonstreerd. Het rapport merkt op dat de kloof tussen gesloten en open-source modellen op dit domein aanzienlijk blijft, wat suggereert dat de meest geavanceerde muziekgeneratie-capaciteiten nog steeds voornamelijk in eigendomsmodellen te vinden zijn.

5. Multimodale benchmarks: Het rapport benadrukt de opkomst van sterke multimodale AI-modellen, zoals Google's Gemini en OpenAI's GPT-4, die tekst, afbeeldingen en zelfs audio kunnen verwerken. Deze modellen hebben prestatiepariteit met mensen bereikt op gevestigde multimodale benchmarks, wat een belangrijke stap voorwaarts in dit veld aangeeft.

Naarmate deze gespecialiseerde benchmarks blijven evolueren, zullen ze een genuanceerder en uitgebreider inzicht bieden in de capaciteiten en beperkingen van moderne AI-systemen. Het rapport suggereert dat het vermogen om op complexere manieren te redeneren, plannen en met de wereld te interageren een belangrijk aandachtspunt zal zijn voor toekomstige AI-vooruitgang.

Eén van de belangrijke trends die in het rapport worden benadrukt, is de toenemende nadruk op menselijke evaluatie van taalmodellen. Het rapport stelt dat de LMS chatbot arena, die gebruikmaakt van blinde A/B-tests en menselijke beoordelingen om de prestaties van verschillende modellen te beoordelen, een steeds belangrijkere benchmark wordt.

Het rapport stelt dat deze menselijke evaluatiebenadering waardevol is omdat deze de algehele prestaties en gebruikerservaring van de modellen beoordeelt, in plaats van alleen te vertrouwen op specifieke testscores. Het rapport suggereert dat sommige van de traditionele benchmarks te maken hebben gehad met verontreiniging of fouten, waardoor de menselijke evaluatiebenadering betrouwbaarder is.

Specifiek merkt het rapport op dat in de LMS chatbot arena, GPT-4 Turbo momenteel de leiding heeft, zelfs na de release van Claude 3. Dit geeft aan dat menselijke gebruikers GPT-4 Turbo effectiever en wenselijker vinden, ondanks mogelijke verbeteringen in andere modellen.

Het rapport betoogt dat deze menselijke evaluatiebenadering breder moet worden toegepast, omdat het een meer holistische beoordeling van taalmodelcapaciteiten biedt. Naarmate de modellen steeds geavanceerder worden, wordt het vermogen om met hen te interageren en ze vanuit het perspectief van de gebruiker te beoordelen cruciaal voor het begrijpen van hun prestaties en impact in de echte wereld.

Overal benadrukt het toenemende belang van menselijke evaluatie de noodzaak om rekening te houden met de gebruikerservaring en praktische toepassingen van taalmodellen, in plaats van alleen te focussen op technische benchmarks. Deze verschuiving weerspiegelt de toenemende volwassenheid en maatschappelijke impact van deze AI-systemen, en de noodzaak om ervoor te zorgen dat ze voldoen aan de behoeften en verwachtingen van menselijke gebruikers.

De fusie van taalmodellering met robotica heeft geleid tot flexibelere roboticasystemen zoals PaLM-E en RT2. Deze modellen kunnen, naast hun verbeterde roboticacapaciteiten, ook vragen stellen, wat een belangrijke stap is naar robots die effectiever kunnen interageren met de echte wereld.

De evolutie van deze modellen vergroot hun capaciteiten, en robotica is een grotere uitdaging dan traditionele AI. Er zullen echter doorbraken komen die elkaar aanvullen, wat zal leiden tot effectievere robots in de toekomst. We zien al indrukwekkende demonstraties, zoals de vloeiende en naadloze bewegingen van de robot Figure One, die volledig door een neuraal netwerk zijn bereikt, wat de snelle vooruitgang op dit gebied laat zien.

Op de Agent Bench, die autonome agentsystemen over acht omgevingen evalueert, neemt de algemene score toe. Het creëren van AI-agentsystemen die in staat zijn tot autonome werking in specifieke omgevingen is al lang een uitdaging, maar opkomend onderzoek suggereert dat de prestaties van autonome agenten verbeteren. Huidige agenten kunnen nu complexe spellen als Minecraft beheersen en effectief omgaan met real-world taken zoals winkelen en onderzoeksassistentie.

Het document benadrukt de prestatieverbetering van Voyager, een Nvidia-systeem, in Minecraft, dat gebruikmaakte van GPT-4 om de redeneercapaciteiten van de agent te vergroten en hem in staat te stellen te leren, te verkennen en te plannen in open-ended werelden. Dit toont het potentieel van krachtigere systemen die in de toekomst kunnen worden ingezet voor dit soort autonome agentschapstaken.

Het rapport belicht verschillende belangrijke trends in de ontwikkeling van door AI aangedreven muziekgeneratie:

1. Verbeterde prestaties op muziekbenchmarks: De evaluatie van muziekgeneratie-modellen op gevestigde benchmarks als MusicCaps laat zien dat AI-systemen geleidelijk verbeteren in hun vermogen om hoogwaardige muziek te genereren. De gesloten-bron taalmodellen presteren aanzienlijk beter dan hun open-source tegenhangers op deze benchmarks.

2. Opkomst van geavanceerde muziekgeneratie-modellen: Modellen als Music-LM en Music-Gen hebben indrukwekkende capaciteiten op het gebied van muziekgeneratie gedemonstreerd, wat de snelle vooruitgang in dit domein laat zien. Deze modellen kunnen nu muziek produceren die steeds minder te onderscheiden is van door mensen gecomponeerde stukken.

3. Verkleinen van de kloof met door mensen gecomponeerde muziek: Het rapport merkt op dat de prestaties van door AI gegenereerde muziek de kwaliteit van door mensen gecomponeerde muziek benaderen, waarbij het verschil tussen de twee steeds kleiner wordt. Dit suggereert dat door AI aangedreven muziekgeneratie een punt bereikt waar het kan wedijveren met de kwaliteit