De gesprekken in de stad zijn verschoven van 10 miljard rekenclusters naar honderd miljard rekenclusters tot zelfs biljoen dollar clusters. Elke 6 maanden wordt er nog een nul toegevoegd aan de boardroom plannen. De AGI-race is begonnen. We bouwen machines die kunnen denken en redeneren, en tegen 2025-2026 zullen deze machines de prestaties van universitaire afgestudeerden overtreffen. Tegen het einde van het decennium zullen ze slimmer zijn dan jij of ik, en zullen we superintelligentie hebben in de ware zin van het woord.

Ondertussen zullen Nationale Veiligheidstroepen die in een halve eeuw niet zijn gezien, worden losgelaten. Het zal niet lang duren voordat de wereld wakker wordt, maar op dit moment zijn er misschien een paar honderd mensen, meestal in San Francisco en de AI-laboratoria, die zich daadwerkelijk bewust zijn van de situatie. Door welke vreemde krachten of lot dan ook, heb ik me onder hen bevonden, en daarom is dit document zo belangrijk.

Mijn AGI-voorspelling - AGI tegen 2027 is opvallend plausibel. Van GPT-2 naar GPT-4 brachten ons in slechts 4 jaar van kleuterschool- naar slimme middelbare schoolniveau. Als we de trendlijnen van rekenkracht, algoritmische efficiëntie en 'ontgrendeling' van winsten volgen, mogen we een andere sprong van kleuterschool naar middelbare school verwachten tegen 2027.

Ik beweer dat het opvallend plausibel is dat tegen 2027 modellen in staat zullen zijn om het werk van een AI-onderzoeker of software-ingenieur te doen. Dit vereist geen geloof in sciencefiction, alleen geloof in rechte lijnen op een grafiek. De effectieve opschaling van rekenkracht van GPT-2 naar GPT-4 laat een duidelijke trend zien, en ik geloof dat de groei in de komende jaren nog steiler zal zijn.

De beperkingen van de huidige modellen komen neer op voor de hand liggende manieren waarop ze nog steeds 'gehinderd' en kunstmatig beperkt zijn. Naarmate deze beperkingen worden verwijderd, zal de ruwe intelligentie achter de modellen worden ontketend, wat zal leiden tot snelle vooruitgang. We lopen al tegen de grenzen van benchmarks aan, waarbij GPT-4 de meeste standaard middelbare school- en universitaire geschiktheidstests kraakt.

De magie van deep learning is dat de trendlijnen verbazingwekkend consistent zijn geweest. Door betrouwbaar de ordes van grootte bij het trainen van deze modellen te tellen, kunnen we verbeteringen in de capaciteit extrapoleren. Algoritmische efficiëntie en 'ontgrendeling' van winsten zullen veel van de vooruitgang aandrijven, wat ertoe kan leiden dat een GPT-4-niveau model in 2027 in slechts een minuut trainbaar is.

Het veiligstellen van de algoritmische geheimen en modelgewichten zal echter cruciaal zijn, aangezien het niet doen hiervan kan leiden tot het lekken van sleutel-AGI-doorbraken naar tegenstanders binnen de komende 12-24 maanden. Het betrouwbaar beheersen van AI-systemen die veel slimmer zijn dan mensen is een onopgelost technisch probleem, en falen kan catastrofaal zijn. De overgang naar superintelligentie zal waarschijnlijk snel verlopen, met buitengewone druk om de uitlijning goed te krijgen.

De groei van AI-capaciteiten is de afgelopen jaren exponentieel geweest, waarbij elke nieuwe generatie van modellen opmerkelijke vooruitgang laat zien.

Van GPT-2 naar GPT-4 hebben we een snelle progressie gezien, vergelijkbaar met die van een kleuter naar een middelbare scholier in slechts 4 jaar. Deze trend wordt verwacht door te zetten, met de voorspelling dat AI-modellen tegen 2027 in staat zullen zijn om het werk van een AI-onderzoeker of software-ingenieur uit te voeren.

De belangrijkste drijvende krachten achter deze exponentiële vooruitgang zijn:

1. Opschalen van rekenkracht: De effectieve rekenkracht die wordt gebruikt om deze modellen te trainen, is dramatisch aan het opschalen, volgens een consistente trendlijn. Dit maakt het mogelijk om grotere en capabelere modellen te trainen.

2. Algoritmische efficiëntie: Algoritmische vooruitgang heeft geleid tot aanzienlijke verbeteringen in de efficiëntie van deze modellen, waarbij de kosten om 50% nauwkeurigheid op de wiskundebenchmark te behalen, in minder dan 2 jaar met bijna 3 ordes van grootte zijn gedaald.

3. Ontgrendelen van latente capaciteiten: Technieken als chain-of-thought redeneren en scaffolding hebben geholpen om de latente capaciteiten van deze modellen te ontgrendelen, waardoor ze taken kunnen uitvoeren die ver boven hun oorspronkelijke training uitgaan.

De magie van deep learning is dat het gewoon werkt, en de trendlijnen zijn verbazingwekkend consistent geweest, ondanks de criticasters aan elke kant. We kunnen zien dat naarmate de rekenkracht opschaalt, de kwaliteit en consistentie van de output dramatisch verbeteren.

Hoewel massieve investeringen in rekenkracht alle aandacht krijgen, is algoritmische vooruitgang evenzeer een belangrijke motor van vooruitgang en wordt het dramatisch onderschat. Om te zien hoe groot een deal algoritmische vooruitgang kan zijn, overweeg dan de volgende illustratie - de daling in de prijs om 50% nauwkeurigheid op de wiskundebenchmark te behalen in slechts 2 jaar. Ter vergelijking, een computerwetenschappelijke PhD-student die niet bijzonder van wiskunde hield, scoorde 40%, dus dit is al behoorlijk goed. De inferentie-efficiëntie verbeterde met bijna drie ordes van grootte of 1.000x in minder dan 2 jaar.

De komende tien jaar staat in het teken van een cruciaal moment in de ontwikkeling van kunstmatige intelligentie. Volgens de analyse is het tegen 2027 opvallend plausibel dat AI-modellen het niveau van AI-onderzoekers en -ingenieurs zullen bereiken. Dit zou de automatisering van AI-onderzoek zelf mogelijk maken, wat een feedback-loop van versnellende vooruitgang in gang zou zetten.

De belangrijkste inzichten zijn:

1. Exponentiële opschaling: De trendlijnen van rekenkracht, algoritmische efficiëntie en het 'ontgrendelen' van AI-modellen wijzen op nog een sprong van kleuterschool naar middelbare school in capaciteiten tegen 2027. Dit zou AI-systemen in staat kunnen stellen het werk van menselijke AI-onderzoekers te evenaren.

2. Geautomatiseerd AI-onderzoek: Zodra AI in staat is om zijn eigen onderzoeksproces te automatiseren, zal het in staat zijn om zichzelf snel te itereren en verbeteren, wat zou kunnen leiden tot een 'intelligentie-explosie'. Dit zou jaren van algoritmische vooruitgang kunnen samenpersen tot een kwestie van weken of maanden.

3. Grenzen aan opschalen van rekenkracht: Hoewel opschalen van rekenkracht de vooruitgang zal blijven aandrijven, zijn er praktische grenzen aan hoeveel rekenkracht er op het probleem kan worden gegooid. Dit betekent dat tegen het einde van het decennium verdere doorbraken waarschijnlijk fundamentele algoritmische vooruitgang zullen vereisen, niet alleen meer ruwe rekenkracht.

AI-vooruitgang zal niet stoppen bij menselijk niveau. Honderden miljoenen AGI's zouden AI-onderzoek kunnen automatiseren, waardoor een decennium aan algoritmische vooruitgang die vijf ordes van grootte toevoegt, wordt samengeperst tot één jaar. We zouden snel gaan van menselijk niveau naar ver bovenmatig intelligente AI-systemen. De kracht en het gevaar van superintelligentie zouden dramatisch zijn.

Zodra we de mogelijkheid hebben om AI-onderzoek te automatiseren, wordt een intelligentie-explosie waarschijnlijk. Elke keer dat een AI-onderzoeker een doorbraak bereikt, kan die doorbraak onmiddellijk worden toegepast op het AI-systeem, waardoor het slimmer wordt en verdere doorbraken kan realiseren. Deze feedback-loop zou kunnen leiden tot een extreem snelle toename van AI-capaciteiten, ver boven menselijk niveau.

De implicaties van de snelle vooruitgang in AI-capaciteiten die in dit document worden geschetst, zijn werkelijk schokkend. Tegen 2027 zouden we de opkomst kunnen zien van AI-systemen die het werk van AI-onderzoekers kunnen automatiseren, wat zou leiden tot een intelligentie-explosie en de mogelijke ontwikkeling van superintelligente systemen.

Deze superintelligente systemen zouden enorme macht kunnen hebben, in staat om militaire systemen te hacken, geavanceerde wapens te ontwerpen en zelfs regeringen omver te werpen. De veiligheidsimplicaties zijn rampzalig, aangezien het lekken van sleutel-algoritmische doorbraken autoritaire staten een beslissend militair voordeel zou kunnen geven.