Metabot, een state-of-the-art codeerder die is ontwikkeld door GitHub, heeft een opmerkelijke score van 38% behaald op de benchmark voor softwareengineering, waarmee het de vorige state-of-the-art van 33% overtreft. Deze doorbraak werd bereikt door de nieuwe cognitieve architectuur van Metabot, die problemen in gestructureerde workflows aanpakt.

De architectuur omvat een proces met meerdere stappen:

1. Context verzamelen
2. Plannen en bewerken
3. Het plan ontleden in individuele bewerkingen
4. De bewerkingen toepassen
5. Het plan testen en beoordelen
6. Indien nodig meer context verzamelen
7. De uiteindelijke oplossing indienen

Deze iteratieve en gestructureerde aanpak heeft Metabot in staat gesteld om branchekoplopers zoals Alibaba's Factory AI en IBM Research te overtreffen. De snelle vooruitgang in door AI aangedreven codeerders is een bewijs van de versnellende ontwikkeling van AI, waarbij elke paar weken verbeteringen worden waargenomen.

De implicaties van deze vooruitgang zijn aanzienlijk, aangezien het suggereert dat de snelheid van softwareontwikkelingsverbeteringen in de komende jaren exponentieel zou kunnen zijn. Naarmate AI-modellen blijven evolueren, wordt de potentie van door AI ondersteund coderen om de softwareengineering-industrie te revolutioneren steeds duidelijker.

Google heeft onlangs twee nieuwe taalmodellen vrijgegeven, Gemini 2, met respectievelijk 27 miljard en 9 miljard parameters. Deze modellen hebben erin geslaagd om grotere modellen zoals LLaMA 3 (70 miljard parameters), Chinchilla (70 miljard parameters) en ChatGPT te overtreffen in subjectieve evaluaties, ondanks hun kleinere omvang.

Het Gemini 2-model met 27 miljard parameters heeft indrukwekkende prestaties laten zien, waarbij het deze grotere modellen in de chatbot-arena heeft verslagen. Hoewel het mogelijk niet beter presteert op objectieve benchmarks, is het opmerkelijk dat gebruikers zich er mogelijk niet eens van bewust zijn dat ze met een model van deze omvang interacteren.

Bovendien heeft Google aanzienlijke vooruitgang geboekt in hun taalmodellen, waaronder het vergroten van de contextvensterlengte tot 2 miljoen tokens in Gemini 1.5 Pro. Dit is een aanzienlijke verbetering ten opzichte van eerdere modellen en plaatst Google voorop in dit gebied ten opzichte van andere toonaangevende AI-laboratoria.

De open-source aard van de Gemini 2-modellen, samen met hun indrukwekkende prestaties en efficiëntie, maken ze een veelbelovende ontwikkeling op het gebied van natuurlijke taalverwerking. Naarmate Google nieuwe modellen blijft uitbrengen en doorbraken boekt, kunnen we in de komende jaren nog meer indrukwekkende vooruitgang verwachten.

Het AI-landschap ontwikkelt zich snel, met verschillende belangrijke doorbraken en voorspellingen die de toekomst van deze technologie vormgeven. Hier zijn enkele van de opmerkelijke ontwikkelingen:

1. Metabot: Een baanbrekende codeerder

   • Metabot, een state-of-the-art codeerder die is ontwikkeld door GitHub, heeft een opmerkelijke score van 38% behaald op de benchmark voor softwareengineering, waarmee het de vorige state-of-the-art van 33% overtreft.
   • Deze prestatie toont de indrukwekkende vooruitgang in door AI aangedreven softwareontwikkeling, waarbij Metabot toonaangevende branchedeelnemers zoals Alibaba, Factory en IBM Research overtreft.
   • De cognitieve architectuur achter Metabot, die context verzamelen, plannen, bewerken en testen omvat, is zeer effectief gebleken in het oplossen van complexe codeeruitdagingen.

2. Google's Gemini 2: Grotere modellen overtreffen

   • Google heeft Gemini 2 vrijgegeven, een model met 27 miljard parameters en een model met 9 miljard parameters, die opmerkelijke prestaties hebben laten zien in de chatbot-arena.
   • Deze Gemini 2-modellen hebben grotere modellen zoals LLaMA 3 (70 miljard parameters), Cohere (72 miljard parameters) en ChatGPT overtroffen, wat het potentieel voor efficiënte en hoogwaardige AI-systemen laat zien.
   • De open-source aard van Gemini 2 en de brede frameworkcompatibiliteit maken het een aantrekkelijke optie voor ontwikkelaars en onderzoekers.

3. Uitbreiding van contextlengtes: De grenzen verleggen

   • Google heeft de beschikbaarheid aangekondigd van Gemini 1.5 Pro met een contextvenster van 2 miljoen tokens, wat de invoercapaciteit van hun taalmodellen aanzienlijk vergroot.
   • Deze ontwikkeling sluit aan bij de verkenning van OpenAI's GPT-4, dat heeft aangetoond in staat te zijn 45 minuten durende video-invoer, waarschijnlijk in de orde van 1 miljoen tokens, te verwerken.
   • De race om contextlengtes te vergroten benadrukt de voortdurende inspanningen om de mogelijkheden van AI-modellen in het omgaan met langere en complexere invoer te verbeteren.

4. Voorspellingen van Anthropic: Miljardendollar-trainingsruns

   • Anthropic-CEO Dario Amodei voorspelt dat AI-modellen in 2027 tot $100 miljard zullen kosten om te trainen en de meeste taken beter zullen uitvoeren dan mensen.
   • Deze schokkende kostprognose benadrukt de aanzienlijke investeringen die nodig zijn om de grenzen van AI-ontwikkeling te verleggen, waarbij de volgende trainingsruns mogelijk $1 miljard zullen kosten.
   • De implicaties van deze kostbare trainingsruns wijzen op de noodzaak van aanzienlijke financiering en middelen om de voortdurende vooruitgang van AI-technologie aan te drijven.

5. Versnellen van wetenschappelijke ontdekkingen

   • Amodei suggereert ook dat AI-modellen wetenschappelijke ontdekkingen en doorbraken kunnen versnellen, vooral op gebieden als biologie en geneesmiddelenontdekking.
   • Het potentieel voor door AI aangedreven systemen om te opereren op het niveau van Nobelprijswinnaars of toonaangevende experts in verschillende domeinen zou kunnen leiden tot een proliferatie van baanbrekende ontdekkingen.
   • Deze visie sluit aan bij de vooruitgang die is geboekt in projecten zoals AlphaFold, die hebben aangetoond dat ze de voorspelling van eiwitstructuren kunnen versnellen.

Dario Amod, de CEO van Anthropic, heeft enkele fascinerende voorspellingen gedaan over de toekomst van AI. Hij gelooft dat AI-modellen in 2027 tot $100 miljard zullen kosten om te trainen, en dat ze beter zullen zijn dan de meeste mensen in de meeste taken. Dit suggereert dat de volgende trainingsruns, die mogelijk $1 miljard zullen kosten, de grenzen van wat AI kan bereiken, zullen verleggen.

Eén gebied waar Amod gelooft dat AI een aanzienlijke impact zal hebben, is het versnellen van wetenschappelijke ontdekkingen en het genezen van ziekten. Hij ziet gespecialiseerde AI-modellen voor zich die even deskundig en creatief zijn als Nobelprijswinnaars of de leiders van geneesmiddelenontdekking bij grote farmaceutische bedrijven. Deze modellen zouden kunnen experimenteren en verkennen op manieren die menselijke onderzoekers niet kunnen, wat mogelijk zou kunnen leiden tot doorbraken op gebieden als biologie en geneesmiddelenontdekking.

We hebben al voorbeelden gezien van AI-modellen, zoals Google's AlphaFold, die in staat zijn geweest de ontdekking van eiwitstructuren aanzienlijk te versnellen. Amod gelooft dat als we "een miljoen kopieën van een AI-systeem hadden dat even deskundig en creatief is als al die wetenschappers die die dingen hebben uitgevonden", het tempo van wetenschappelijke ontdekkingen zou kunnen toenemen, en zelfs hardnekkige ziekten zouden kunnen worden aangepakt of genezen.

Hoewel dit als een futuristisch en uitdagend doel kan klinken, suggereren de fundamentele mogelijkheden van AI-modellen dat dergelijke vooruitgang mogelijk is. Naarmate de schaal, algoritmen en hardware blijven verbeteren, wordt het potentieel voor AI om wetenschappelijk onderzoek en medische doorbraken te revolutioneren steeds tastbaarder.

OpenAI heeft gewerkt aan de ontwikkeling van "criticus"-modellen om de nauwkeurigheid en uitlijning van hun AI-systemen, met name ChatGPT, te verbeteren. De belangrijkste punten zijn:

• OpenAI heeft een model genaamd "Critic GPT" getraind op basis van GPT-4 om fouten in de output van ChatGPT te identificeren.
• Wanneer mensen Critic GPT gebruiken om de reacties van ChatGPT te beoordelen, presteren ze 60% beter dan degenen zonder het criticus-model.
• OpenAI werkt nu aan de integratie van Critic GPT-achtige modellen in hun pipeline voor reinforcement learning met menselijke feedback (RLHF).
• Dit is een voorbeeld van "recursieve zelfverbetering" waarbij AI-modellen worden gebruikt om andere AI-modellen te evalueren en te verbeteren.
• Naarmate AI-modellen geavanceerder worden, wordt het steeds moeilijker voor menselijke trainers om hun subtiele fouten op te sporen. Criticus-modellen kunnen helpen dit probleem aan te pakken.
• Er is echter een fundamentele beperking - op een bepaald moment kunnen de AI-modellen slimmer worden dan individuele mensen die feedback geven, waardoor de mens-in-de-loop-benadering moeilijker wordt.
• Dit roept vragen op over wanneer en hoe AI-systemen kunnen overgaan op volledig recursieve zelfverbetering zonder rechtstreeks menselijk toezicht.