Metabot, en GitHub-infödd toppmodern kodningsagent, har uppnått en anmärkningsvärd poäng på 38% på mjukvaruingenjörsbenchmarken, vilket överträffar den tidigare toppmodellen på 33%. Detta genombrott uppnåddes av Metabots nya kognitiva arkitektur som hanterar problem i strukturerad arbetsflöde.

Arkitekturen involverar en flerstegig process:

1. Samla in kontext
2. Planera och redigera
3. Dekomponera planen i enskilda redigeringar
4. Tillämpa redigeringarna
5. Testa och granska planen
6. Samla in mer kontext om det behövs
7. Lämna in den slutliga lösningen

Denna iterativa och strukturerade metod har låtit Metabot prestera bättre än branschledare som Alibabas Factory AI och IBM Research. Den snabba utvecklingen av AI-drivna kodningsagenter är ett bevis på den accelererande takten i AI-utveckling, med förbättringar som ses var några vecka.

Implikationerna av denna utveckling är betydande, eftersom den tyder på att takten för förbättringar av mjukvaruutveckling skulle kunna vara exponentiell under de kommande åren. Eftersom AI-modeller fortsätter att utvecklas blir potentialen för AI-assisterad kodning att revolutionera mjukvaruindustrin allt tydligare.

Google har nyligen släppt två nya språkmodeller, Gemini 2, med 27 miljarder respektive 9 miljarder parametrar. Dessa modeller har lyckats prestera bättre än större modeller som LLaMA 3 (70 miljarder parametrar), Chinchilla (70 miljarder parametrar) och ChatGPT i subjektiva utvärderingar, trots sin mindre storlek.

Gemini 2-modellen med 27 miljarder parametrar har visat imponerande prestanda och överträffar dessa större modeller inom chattbotområdet. Även om den kanske inte överträffar dem på objektiva mätningar är det anmärkningsvärt att användare kanske inte ens märker att de interagerar med en modell av denna storlek.

Dessutom har Google gjort betydande framsteg i sina språkmodeller, inklusive att öka kontextfönstrets längd till 2 miljoner tokens i Gemini 1.5 Pro. Detta är en betydande förbättring jämfört med tidigare modeller och placerar Google före andra stora AI-laboratorier på detta område.

Gemini 2-modellernas öppna källkod, tillsammans med deras imponerande prestanda och effektivitet, gör dem till en lovande utveckling inom naturlig språkbehandling. Eftersom Google fortsätter att leverera nya modeller och göra genombrott kan vi förvänta oss ännu mer imponerande framsteg under de kommande åren.

AI-landskapet utvecklas snabbt, med flera viktiga genombrott och prognoser som formar denna teknikens framtid. Här är några av de anmärkningsvärda utvecklingarna:

1. Metabot: En banbrytande kodningsagent

   • Metabot, en GitHub-infödd toppmodern kodningsagent, har uppnått en anmärkningsvärd poäng på 38% på mjukvaruingenjörsbenchmarken, vilket överträffar den tidigare toppmodellen på 33%.
   • Denna prestation visar de imponerande framstegen inom AI-driven mjukvaruutveckling, där Metabot överträffar ledande branschaktörer som Alibaba, Factory och IBM Research.
   • Den kognitiva arkitekturen bakom Metabot, som inkluderar kontextinsamling, planering, redigering och testning, har visat sig vara mycket effektiv för att lösa komplexa kodningsutmaningar.

2. Googles Gemini 2: Överträffar större modeller

   • Google har släppt Gemini 2, en modell med 27 miljarder parametrar och en modell med 9 miljarder parametrar, som har visat anmärkningsvärd prestanda inom chattbotområdet.
   • Dessa Gemini 2-modeller har överträffat större modeller som LLaMA 3 (70 miljarder parametrar), Cohere (72 miljarder parametrar) och ChatGPT, vilket visar på potentialen för effektiva och högpresterande AI-system.
   • Gemini 2:s öppna källkod och breda ramverkskompatibilitet gör den till ett attraktivt alternativ för utvecklare och forskare.

3. Utökade kontextlängder: Att utmana gränserna

   • Google har meddelat tillgängligheten av Gemini 1.5 Pro med ett kontextfönster på 2 miljoner tokens, vilket avsevärt utökar inmatningskapaciteten för deras språkmodeller.
   • Denna utveckling överensstämmer med utforskandet av OpenAIs GPT-4, som har visat förmågan att bearbeta 45-minutersvideoingångar, troligen i intervallet 1 miljon tokens.
   • Tävlingen om att öka kontextlängder belyser de pågående ansträngningarna att förbättra AI-modellers förmåga att hantera längre och mer komplexa indata.

4. Anthropics prognoser: Miljardträningskörningar

   • Anthropics VD Dario Amodei förutspår att AI-modeller år 2027 kommer att kosta upp till 100 miljarder dollar att träna och kommer att överträffa människors förmågor i de flesta uppgifter.
   • Denna häpnadsväckande kostnadsprognos belyser de betydande investeringar som krävs för att driva gränserna för AI-utveckling, där nästa träningskörningar potentiellt kan kosta 1 miljard dollar.
   • Implikationerna av dessa höga träningskostnader pekar på behovet av betydande finansiering och resurser för att driva den fortsatta utvecklingen av AI-teknik.

5. Accelererande vetenskapliga upptäckter

   • Amodei föreslår också att AI-modeller skulle kunna accelerera vetenskapliga upptäckter och genombrott, särskilt inom områden som biologi och läkemedelsutveckling.
   • Potentialen för AI-drivna system att fungera på nivån av Nobelpristagare eller ledande experter inom olika domäner skulle kunna leda till en proliferation av banbrytande upptäckter.
   • Denna vision överensstämmer med framstegen i projekt som AlphaFold, som har visat förmågan att accelerera förutsägelse av proteinstrukturer.

När AI-landskapet fortsätter att utvecklas belyser dessa milstolpar och prognoser den snabba utvecklingstakten och den transformativa potentialen hos denna teknik inom olika områden, från mjukvaruutveckling till vetenskaplig forskning och därutöver.

Dario Amod, VD för Anthropic, har gjort några fascinerande prognoser om AI:s framtid. Han tror att AI-modeller år 2027 kommer att kosta upp till 100 miljarder dollar att träna, och de kommer att vara bättre än de flesta människor på de flesta uppgifter. Detta tyder på att nästa träningskörningar, som potentiellt kan kosta 1 miljard dollar, kommer att driva gränserna för vad AI kan uppnå.

Ett område där Amod tror att AI kommer att ha en betydande inverkan är genom att accelerera vetenskapliga upptäckter och bota sjukdomar. Han föreställer sig specialiserade AI-modeller som är lika kunniga och kreativa som Nobelpristagare eller chefer för läkemedelsutveckling på stora läkemedelsföretag. Dessa modeller skulle kunna experimentera och utforska på sätt som mänskliga forskare inte kan, vilket potentiellt skulle kunna leda till genombrott inom områden som biologi och läkemedelsutveckling.

Vi har redan sett exempel på AI-modeller, som Googles AlphaFold, som har kunnat accelerera upptäckten av proteinstrukturer avsevärt. Amod tror att om vi hade "en miljon kopior av ett AI-system som är lika kunniga och kreativa inom ett område som alla de forskare som uppfann dessa saker", skulle takten för vetenskapliga upptäckter kunna öka lavinartat, och till och med långvariga sjukdomar skulle kunna åtgärdas eller botas.

Även om detta kan verka som ett framtidsinriktat och utmanande mål, tyder de grundläggande förmågorna hos AI-modeller på att sådana framsteg är möjliga. Eftersom skala, algoritmer och maskinvara fortsätter att förbättras blir potentialen för AI att revolutionera vetenskaplig forskning och medicinska genombrott allt mer påtaglig.

OpenAI har arbetat med att utveckla "kritiker"-modeller för att förbättra noggrannheten och inriktningen på deras AI-system, särskilt ChatGPT. De viktigaste punkterna är:

• OpenAI tränade en modell som kallas "Critic GPT" baserad på GPT-4 för att identifiera misstag i ChatGPTs utdata.
• När människor använder Critic GPT för att granska ChatGPTs svar, överträffar de dem utan kritikmodellen 60% av tiden.
• OpenAI arbetar nu med att integrera Critic GPT-liknande modeller i sin förstärkningsinlärning med mänsklig feedback (RLHF)-pipeline.
• Detta är ett exempel på "rekursiv självförbättring" där AI-modeller används för att utvärdera och förbättra andra AI-modeller.
• Eftersom AI-modeller blir mer avancerade blir det allt svårare för mänskliga tränare att upptäcka deras subtila misstag. Kritikmodeller kan hjälpa till att hantera denna utmaning.
• Det finns dock en grundläggande begränsning - vid en viss punkt kan AI-modellerna bli smartare än någon enskild människa som ger feedback, vilket gör människan-i-loopen-metoden svårare.
• Detta väcker frågor om när och hur AI-system kan övergå till fullständig rekursiv självförbättring utan direkt mänsklig övervakning.

De snabba framstegen inom AI, särskilt när det gäller modellutgivning, är verkligen anmärkningsvärda. De genombrott som diskuteras i denna transkript är ett bevis på den otroliga utvecklingen som sker.

Utvecklingen av Metabot, en toppmodern kodningsagent som överträffade tidigare mätningar, är en betydande prestation. Att den kunde överträffa prestandan hos ledande AI-laboratorier som Alibaba, IBM och andra är ett tydligt tecken på den snabba takten i AI-innovation.

Frigörandet av Googles Gemini 2-modeller, med deras imponerande prestanda jämfört med större modeller som LLaMA och Chinchilla, är en annan spännande utveckling. Att dessa mindre modeller kan överträffa sina större motsvarigheter är ett bevis på effektiviteten och effektiviteten i den underliggande arkitekturen.

Framstegen inom kontextlängd och kapacitet, som det 2 miljoner tokens stora kontextfönstret i Gemini 1.5 Pro och potentialen för GPT-4 att hantera längre indata, tyder på att framtiden för AI-drivna applikationer är redo för ännu större genombrott.

Prognoserna från branschledare, som Anthropics VD Dario Amodei, om potentialen för AI-modeller att överträffa människors förmågor i de flesta uppgifter till 2027 är både intressanta och tankeväckande. Implikationerna av sådana framsteg, både när det gäller vetenskapliga upptäckter och påverkan på vårt dagliga liv, är verkligen djupgående.

När AI-landskapet fortsätter att utvecklas är det tydligt att innovationstakten bara accelererar. Dessa modellers förmåga att kontinuerligt förbättras och driva gränserna för vad som är möjligt är ett bevis på den otroliga potentialen hos denna teknik.