Rapporten AI Index 2024 belyser att industrin fortsätter att leda inom banbrytande AI-forskning. Under 2023 producerade industrin 51 anmärkningsvärda maskininlärningsmodeller, medan akademin endast bidrog med 15. Dessutom resulterade 21 anmärkningsvärda modeller från samarbeten mellan industri och akademi, vilket nådde en ny toppnivå.

Denna trend av att industrin dominerar banbrytande AI-forskning fortsätter att öka. Rapporten väcker frågan om huruvida regeringen bör bli mer involverad i AI-projekt, eftersom den privata sektorns ledande roll kan skapa en oroande maktbalans i framtiden.

Furthermore, rapporten noterar att antalet grundläggande modeller som släpptes 2023 fördubblades jämfört med 2022, där 65% av dessa nyligen släppta modeller var öppen källkod, upp från 44% 2022 och 33% 2021. Detta tyder på en ökande trend mot öppen källkods-AI, även om toppmodeller med begränsad tillgång som GPT-4 och dess efterföljare förblir slutna.

Rapporten ger också uppskattningar av träningskostnaderna för dessa modeller, där GPT-4 uppskattas till 78 miljoner dollar och Gemini Ultra till 191 miljoner dollar, vilket belyser de betydande investeringar som krävs för att utveckla dessa avancerade AI-system.

Rapporten AI Index 2024 belyser den växande framträdande rollen för öppen källkods-AI-modeller. Några nyckelpoäng:

• Under 2023 var 65% av de 149 nyligen släppta grundläggande modellerna öppen källkod, upp från 44% 2022 och 33% 2021. Detta visar en tydlig trend mot mer öppen källkods-AI-utveckling.

• Antalet AI-relaterade projekt på GitHub har sett en kraftig ökning på 59,3% under 2023, mer än tredubblas från 4 miljoner 2022 till 12,2 miljoner 2023. Denna explosion av öppen källkods-aktivitet drevs av lanseringen av ChatGPT i slutet av 2022.

• Medan slutna modeller som GPT-4 och Gemini Ultra fortfarande dominerar vissa mätningar, noterar rapporten att öppen källkods-system i allt högre grad hämtar upp och dominerar AI-landskapet.

• Denna ökning av öppen källkods-AI ses som en positiv trend som främjar transparens och tillgänglighet. Det kvarstår dock oro för potentiella risker med kraftfulla öppen källkods-modeller som hamnar i fel händer.

• Reglerare kommer sannolikt att behöva hantera avvägningen mellan fördelarna med öppen innovation och behovet av att begränsa missbruk och säkerställa ett ansvarsfullt utvecklande av dessa transformativa teknologier.

Detta kapitel undersöker prestandan hos AI-system över ett brett spektrum av mätningar jämfört med mänskliga förmågor. Data visar en allt mer imponerande trend, där AI överträffar mänsklig prestation på flera uppgifter:

• AI har överträffat mänsklig prestation på mätningar som bildklassificering, visuellt resonemang och förståelse av engelska.
• AI ligger dock fortfarande efter människor på mer komplexa uppgifter som tävlingsnivå matematik, visuellt sunt förnuft-resonemang och planering.

Trenden över dessa mätningar indikerar att när vi går in i 2023 och framåt, stänger AI snabbt gapet och överträffar till och med den mänskliga baslinjen på många områden. Några viktiga punkter:

• Den mänskliga baslinjen överträffas inom domäner som bildklassificering och naturlig språkförståelse.
• Även om AI släpar efter inom områden som matematik och läsförståelse, minskar prestationsgapet snabbt.
• Mätningar som Multitask Language Understanding (MMLU)-testet visar att AI-förmågor snabbt närmar sig mänsklig nivå.

Traditionally, AI-system har varit begränsade i omfattning, där språkmodeller utmärker sig i textförståelse men brister i bildbearbetning, och vice versa. Nyliga framsteg har dock lett till utvecklingen av starka multimodala modeller som Googles Gemini och OpenAIs GPT-4.

Dessa modeller uppvisar anmärkningsvärd flexibilitet och kan hantera både bilder och text. Faktum är att Gemini 1.5 Pro till och med kan bearbeta ljud. Baslinjen för multimodal AI-förmåga har fortsatt att öka, och nådde 94,04% 2023, jämfört med den mänskliga baslinjen på 89,8%.

Denna utveckling av multimodal AI har fått forskare att utveckla mer utmanande mätningar, som SWE-bänken för kodning, Heim för bildgenerering, MMU för allmänt resonemang och Mocker för moraliskt resonemang. Dessa nya mätningar syftar till att utmana gränserna för AI:s förmågor och avslöja dess begränsningar.

Medan AI-modeller har nått prestationsmättnad på etablerade mätningar som IMAC, SNAP och SuperGLUE, kommer framväxten av dessa mer komplexa och krävande utvärderingar fortsätta att utmana forskare och utvecklare. Förmågan att resonera, förstå och interagera över flera modaliteter är ett avgörande steg mot mer mångsidiga och kapabla AI-system.

AI-indexrapporten belyser den snabba framstegen inom specialiserade AI-mätningar bortom traditionella språk- och visionstester. Eftersom AI-system fortsätter att utvecklas har forskare utvecklat mer utmanande och nyanserade mätningar för att bedöma deras förmågor.

Några viktiga utvecklingar på detta område inkluderar:

1. Kodningsbenchmarks: Introduktionen av SWE Bench, en ny benchmark för att utvärdera AI-modellers kodningsförmågor. Denna benchmark har väckt kontroverser, med vissa anklagelser om att demonstrationsresultaten inte var helt äkta. Många öppen källkods-projekt har dock visat imponerande prestanda på denna utmanande uppgift.

2. Resonemangsbenchmarks: Mätningar som HEIM för bildresonemang, MMU för allmänt resonemang och MOCKER för moraliskt resonemang har uppkommit för att utmana gränserna för AI:s resoneringsförmågor. Medan nuvarande modeller fortfarande ligger efter människor på dessa områden, antyder rapporten att genombrott inom resonemang kan vara på väg, möjligen med lanseringen av GPT-5 och andra avancerade modeller.

3. Agentbaserade benchmarks: Agent Bench, som utvärderar autonoma agentprestanda över olika miljöer, har visat stadiga förbättringar. AI-agenter kan nu behärska komplexa spel som Minecraft och hantera verkliga uppgifter som shopping och forskningsassistans mer effektivt.

4. Musikgenereringsbenchmarks: Utvärderingen av musikgenerationsmodeller på benchmarks som MusicCaps har visat framsteg i AI:s förmåga att producera högkvalitativ musik. Rapporten noterar att gapet mellan slutna och öppen källkods-modeller på detta område fortfarande är betydande, vilket tyder på att de mest avancerade musikgenerationsförmågorna fortfarande främst finns i proprietära system.

En av de nyckeltrender som lyfts fram i rapporten är den växande betoningen på mänsklig utvärdering av språkmodeller. Rapporten noterar att LMS chatbot-arenan, som använder blind A/B-testning och mänskliga bedömningar för att utvärdera olika modellers prestanda, blir en allt viktigare benchmark.

Rapporten menar att detta mänskliga utvärderingsangreppssätt är värdefullt eftersom det bedömer modellernas övergripande prestanda och användarupplevelse, snarare än att enbart förlita sig på specifika testresultat. Rapporten antyder att vissa av de traditionella benchmarksen kan ha drabbats av kontaminering eller fel, vilket gör det mänskliga utvärderingsangreppssättet mer tillförlitligt.

Specifikt noterar rapporten att i LMS chatbot-arenan leder för närvarande GPT-4 Turbo, även efter lanseringen av Claude 3. Detta indikerar att mänskliga användare finner GPT-4 Turbo vara den mer effektiva och önskvärda modellen, trots potentiella förbättringar i andra modeller.

Rapporten hävdar att detta mänskliga utvärderingsangreppssätt bör användas mer allmänt, eftersom det ger en mer holistisk bedömning av språkmodellsförmågor. Allt eftersom modellerna blir alltmer sofistikerade, blir förmågan att interagera med och bedöma dem ur ett användarperspektiv avgörande för att förstå deras verkliga världsprestanda och påverkan.

Fusionen av språkmodellering och robotik har gett upphov till mer flexibla robotsystem som PaLM-E och RT2. Utöver deras förbättrade robotförmågor kan dessa modeller ställa frågor, vilket markerar ett betydande steg mot robotar som kan interagera mer effektivt med den verkliga världen.

Evolutionen av dessa modeller ökar deras förmågor, och robotik är en svårare utmaning än traditionell AI. Det kommer dock att finnas genombrott som kompletterar varandra, vilket leder till mer effektiva robotar i framtiden. Vi ser redan imponerande demonstrationer, som de flytande och sömlösa rörelserna hos roboten Figure One, som uppnåddes 100% genom ett neuralt nätverk, vilket visar på snabb utveckling inom detta område.

På Agent Bench, som utvärderar autonoma agentsystem över åtta miljöer, ökar den övergripande poängen. Att skapa AI-agentsystem som är kapabla till autonom drift i specifika miljöer har länge varit en utmaning, men framväxande forskning tyder på att prestandan hos autonoma agenter förbättras. Nuvarande agenter kan nu behärska komplexa spel som Minecraft och effektivt hantera verkliga uppgifter som shopping och forskningsassistans.

Rapporten belyser flera nyckeltrender inom utvecklingen av AI-driven musikgenerering:

1. Förbättrad prestanda på musikbenchmarks: Utvärderingen av musikgenerationsmodeller på etablerade benchmarks som MusicCaps visar att AI-system stadigt förbättrar sin förmåga att generera högkvalitativ musik. De slutna språkmodellerna presterar betydligt bättre än deras öppen källkods-motsvarigheter på dessa benchmarks.

2. Framväxten av avancerade musikgenerationsmodeller: Modeller som Music-LM och Music-Gen har visat imponerande förmågor inom musikgenerering, vilket visar på den snabba utvecklingen inom detta område. Dessa modeller kan nu producera musik som i allt högre grad är omöjlig att skilja från mänskligt komponerad musik.

3. Minskande gap mot mänskligt komponerad musik: Rapporten noterar att prestandan hos AI-genererad musik närmar sig nivån på mänskligt komponerad musik, där skillnaden mellan de två blir allt mindre. Detta tyder på att AI-driven musikgenerering når en punkt där den kan mäta sig med kvaliteten och kreativiteten hos mänskligt skapad musik.

4. Potentiell påverkan på musikindustrin: Eftersom AI-musikgenerationsförmågor fortsätter att förbättras, lyfter rapporten fram den potentiella påverkan på musikindustrin. Detta skulle kunna leda till förändringar i sättet musik produceras, distribueras och konsumeras, vilket potentiellt stör traditionella affärsmodeller och kreativa processer.

5. Utmaningar i utvärdering av musikgenerering: Rapporten erkänner svårigheterna att etablera robusta och standardiserade benchmarks för att utvärdera kvaliteten och kreativiteten hos AI-genererad musik. Detta är ett område som kräver ytterligare forskning och utveckling för att säkerställa rättvisa och omfattande bedömningar av dessa system.

Rapporten belyser flera viktiga överväganden och utmaningar kring ansvarsfull AI-utveckling och -implementering:

Politiska deepfakes och desinformation

Rapporten noterar att politiska deepfakes blir allt lättare att generera och svårare att upptäcka. AI-system kan användas för att skapa övertygande falsk innehåll, inklusive bilder, videor och text, som kan användas för att sprida desinformation och påverka den allmänna opinionen. Detta väcker allvarliga farhågor om AI:s potentiella missbruk för skadliga syften.

Brist på transparens i grundläggande modeller

Rapporten anger att AI-utvecklare, särskilt de som arbetar med stora grundläggande modeller, ofta saknar transparens när det gäller att offentliggöra träningsdata och metoder. Denna brist på öppenhet hindrar ansträngningar att förstå robustheten och säkerheten hos dessa AI-system.

Svårigheter att bedöma existentiella risker

Rapporten erkänner utmaningen att skilja vetenskapligt grundade påståenden om långsiktiga existentiella AI-risker från mer spekulativa farhågor. De konkreta kortsiktiga riskerna står i kontrast till de teoretiska långsiktiga hoten, vilket gör det svårt att prioritera och hantera dessa frågor.

Ökande rapporter om AI-incidenter

Rapporten noterar en ökning på 32,3% av rapporterade AI-relaterade incidenter 2023 jämfört med 2022, med en 20-faldig ökning sedan 2013. Detta inkluderar exempel som generering av sexuellt explicita deepfakes av offentliga personer. Trenden tyder på att missbruk av AI är ett växande problem som kommer att kräva samordnade insatser för att hantera.

Politisk bias i språkmodeller

Forskare fann betydande politiska bias i ChatGPT, där modellen tenderade att gynna Demokraterna i USA och Labour-partiet i Storbritannien. Detta väcker oro för att storskaliga språkmodeller kan påverka användarnas politiska åsikter, särskilt inför kommande globala val.

Behovet av ansvarsfull AI-utveckling och reglering

Rapporten betonar vikten av att utveckla AI-system på ett ansvarsfullt sätt, med fokus på transparens, säkerhet och etiska överväganden. Den noterar också de ökande ansträngningarna från beslutsfattare i USA och EU