Das Stadtgespräch hat sich von 10-Milliarden-Rechencluster zu Hundert-Milliarden-Rechencluster bis hin zu Billionen-Dollar-Clustern verschoben. Alle 6 Monate wird dem Vorstandsplan eine weitere Null hinzugefügt. Das Rennen um die Allgemeine Künstliche Intelligenz (AGI) hat begonnen. Wir bauen Maschinen, die denken und schlussfolgern können, und bis 2025-2026 werden diese Maschinen Hochschulabsolventen überholen. Bis Ende des Jahrzehnts werden sie intelligenter sein als Sie oder ich, und wir werden Superintelligenz im wahrsten Sinne des Wortes haben.

Auf dem Weg dorthin werden Nationale Sicherheitskräfte, die seit einem halben Jahrhundert nicht mehr gesehen wurden, entfesselt. Bald wird die Welt aufwachen, aber im Moment gibt es vielleicht ein paar Hundert Menschen, meist in San Francisco und in den KI-Labors, die tatsächlich ein Situationsbewusstsein haben. Durch welche besonderen Kräfte oder Schicksale auch immer, ich habe mich unter ihnen wiedergefunden, und deshalb ist dieses Dokument so wichtig.

Meine AGI-Vorhersage - AGI bis 2027 ist überraschend plausibel. Von GPT-2 zu GPT-4 haben wir uns in nur 4 Jahren von Vorschulkindern zu intelligenten Oberschülern entwickelt. Wenn wir die Trendlinien der Rechenleistung, der algorithmischen Effizienz und des "Entfesselns" von Gewinnen verfolgen, sollten wir bis 2027 einen weiteren qualitativen Sprung von Vorschulkindern zu Oberschülern erwarten.

Ich behaupte, dass es überraschend plausibel ist, dass die Modelle bis 2027 in der Lage sein werden, die Arbeit eines KI-Forschers oder Softwareingenieurs zu verrichten. Das erfordert keinen Glauben an Science-Fiction, sondern nur an gerade Linien in einem Diagramm. Die effektive Skalierung der Rechenleistung von GPT-2 zu GPT-4 zeigt einen klaren Trend, und ich glaube, das Wachstum wird in den kommenden Jahren sogar noch steiler sein.

Meine AGI-Vorhersage: AGI bis 2027 ist überraschend plausibel. Von GPT-2 zu GPT-4 haben wir uns in nur 4 Jahren von Vorschulkindern zu intelligenten Oberschülern entwickelt. Wenn wir die Trendlinien der Rechenleistung, der algorithmischen Effizienz und des "Entfesselns" von Gewinnen verfolgen, sollten wir bis 2027 einen weiteren qualitativen Sprung von Vorschulkindern zu Oberschülern erwarten.

Ich mache folgende Behauptung: Es ist überraschend plausibel, dass die Modelle bis 2027 in der Lage sein werden, die Arbeit eines KI-Forschers/Softwareingenieurs zu verrichten. Das erfordert keinen Glauben an Science-Fiction, sondern nur an gerade Linien in einem Diagramm.

Das Diagramm der grundlegenden Hochskalierung der effektiven Rechenleistung, gezählt von GPT-2 bis GPT-4, zeigt eine klare Trendlinie. Im Zeitraum 2022-2023 gab es eine Phase erhöhter "Aufmerksamkeit" um GPT-3 und GPT-4, die einen riesigen Scheinwerfer auf das KI-Zeitalter geworfen haben. GPT-4 und ChatGPT 3.5 waren tatsächliche Produkte, die der Öffentlichkeit zur Verfügung standen und einen Boom an Interesse und Investitionen in KI auslösten.

Dies legt nahe, dass die Wachstumskurve von 2024-2028 sogar noch steiler sein könnte als im vorherigen Zeitraum. Ein automatisierter KI-Forschungsingenieur bis 2027-2028 erscheint angesichts der Rechenleistungstrends nicht weit hergeholt. Die Auswirkungen sind gravierend - wenn wir KI-Forschung automatisieren können, würde es nicht lange dauern, die Superintelligenz zu erreichen, da wir eine rekursive Selbstverbesserung ermöglichen würden.

Das Wachstum der KI-Fähigkeiten war in den letzten Jahren exponentiell, wobei jede neue Generation von Modellen bemerkenswerte Fortschritte zeigt.

Von GPT-2 zu GPT-4 haben wir einen rasanten Fortschritt erlebt, vergleichbar mit dem eines Vorschulkindes zu einem Oberschüler in nur 4 Jahren. Dieser Trend wird voraussichtlich anhalten, mit der Vorhersage, dass die KI-Modelle bis 2027 in der Lage sein werden, die Arbeit eines KI-Forschers oder Softwareingenieurs zu verrichten.

Die Schlüsseltreiber hinter diesem exponentiellen Fortschritt sind:

1. Skalierung der Rechenleistung: Die effektive Rechenleistung zum Training dieser Modelle skaliert dramatisch und folgt einer konsistenten Trendlinie. Dies ermöglicht das Training größerer und leistungsfähigerer Modelle.

2. Algorithmische Effizienz: Algorithmische Fortschritte haben zu erheblichen Verbesserungen der Effizienz dieser Modelle geführt, wobei die Kosten für das Erreichen von 50% Genauigkeit beim Mathematikbenchmark in weniger als 2 Jahren um fast 3 Größenordnungen gesunken sind.

3. Freisetzung latenter Fähigkeiten: Techniken wie Ketten-von-Gedanken-Reasoning und Scaffolding haben dazu beigetragen, die latenten Fähigkeiten dieser Modelle freizusetzen und ihnen die Durchführung von Aufgaben weit über ihre ursprüngliche Ausbildung hinaus zu ermöglichen.

Die Magie des Deep Learning ist, dass es einfach funktioniert und die Trendlinien trotz der Skeptiker an jeder Ecke erstaunlich konsistent waren. Wir können sehen, dass sich mit der Skalierung der Rechenleistung die Qualität und Konsistenz der Ausgaben dramatisch verbessern.

Während massive Investitionen in Rechenleistung alle Aufmerksamkeit auf sich ziehen, ist der algorithmische Fortschritt ebenfalls ein wichtiger Treiber des Fortschritts und wird dramatisch unterschätzt. Um zu sehen, wie groß ein Thema der algorithmische Fortschritt sein kann, betrachten Sie die folgende Illustration - den Rückgang des Preises, um 50% Genauigkeit beim Mathematikbenchmark zu erreichen, in nur 2 Jahren. Zum Vergleich: Ein Doktorand in Informatik, der Mathe nicht besonders mochte, erzielte 40%, also ist dies bereits ziemlich gut. Die Inferenzeffizienz verbesserte sich in weniger als 2 Jahren um fast drei Größenordnungen oder 1.000%.

Diese algorithmischen Effizienzsteigerungen werden viel mehr Gewinne bringen, als Sie denken. Jeden Tag werden Hunderte von Forschungsarbeiten veröffentlicht, die 10-30% Gewinne freisetzen. Wenn man all diese kleinen Verbesserungen zusammenrechnet, kann der Gesamtfortschritt enorm sein.

Das kommende Jahrzehnt steht vor einer entscheidenden Phase in der Entwicklung der Künstlichen Intelligenz. Laut der Analyse ist es bis 2027 überraschend plausibel, dass KI-Modelle das Fähigkeitsniveau von KI-Forschern und -Ingenieuren erreichen werden. Dies würde die Automatisierung der KI-Forschung selbst ermöglichen und einen Rückkopplungskreis beschleunigten Fortschritts auslösen.

Die Schlüsselerkenntnisse sind:

1. Exponentielle Skalierung: Die Trendlinien von Rechenleistung, algorithmischer Effizienz und dem "Entfesseln" von KI-Modellen deuten auf einen weiteren Sprung von Vorschulkindern zu Oberschülern bis 2027 hin. Dies könnte es KI-Systemen ermöglichen, die Arbeit menschlicher KI-Forscher zu übernehmen.

2. Automatisierte KI-Forschung: Sobald KI ihre eigene Forschung automatisieren kann, wird sie in der Lage sein, sich schnell selbst zu verbessern, was zu einer "Intelligenzexplosion" führen könnte. Dies könnte Jahre algorithmischen Fortschritts in Wochen oder Monaten komprimieren.

3. Grenzen der Rechenleistungsskalierung: Während die Skalierung der Rechenleistung den Fortschritt weiter vorantreiben wird, gibt es praktische Grenzen dafür, wie viel Rechenleistung eingesetzt werden kann. Dies bedeutet, dass bis Ende des Jahrzehnts weitere Durchbrüche wahrscheinlich grundlegende algorithmische Fortschritte erfordern werden, nicht nur mehr rohe Rechenleistung.

Der Fortschritt der KI wird nicht am menschlichen Niveau halt machen. Hunderte Millionen von AGIs könnten die KI-Forschung automatisieren und einen Jahrzehnte an algorithmischem Fortschritt, der fünf Größenordnungen hinzufügt, in einem Jahr zusammenpressen. Wir würden schnell von menschenähnlicher zu weit überlegener KI-Intelligenz übergehen. Die Macht und Gefahr der Superintelligenz wären dramatisch.

Sobald wir die Fähigkeit erreichen, KI-Forschung zu automatisieren, wird eine Intelligenzexplosion wahrscheinlich. Jedes Mal, wenn ein KI-Forscher einen Durchbruch erzielt, kann dieser Durchbruch sofort auf das KI-System angewendet werden, um es intelligenter zu machen und weitere Durchbrüche zu ermöglichen. Dieser Rückkopplungskreis könnte zu einem extrem schnellen Anstieg der KI-Fähigkeiten führen, weit über menschliches Niveau hinaus.

Der Übergang von AGI zu Superintelligenz könnte nur 2-3 Jahre dauern. Zu diesem Zeitpunkt wird die Architektur dieser Systeme "fremd" sein - entworfen von früheren Generationen von Superintelligenz, nicht von Menschen. Versagen in dieser Phase könnte katastrophal sein, da wir keine Möglichkeit haben, das Verhalten dieser superintelligenten Systeme wirklich zu verstehen oder zu überwachen.

Der Autor betont die entscheidende Bedeutung der Sicherung der Forschungsinfrastruktur und des Schutzes der wichtigsten algorithmischen Geheimnisse und Modellgewichte, da das Rennen um die AGI (Allgemeine Künstliche Intelligenz) an Intensität zunimmt.

Er erklärt, dass die führenden KI-Labore Sicherheit derzeit als Nebensache behandeln und die Geheimnisse für die AGI-Entwicklung praktisch auf einem "Silbertablett" an Gegner wie die Kommunistische Partei Chinas (KPC) weitergeben. Die Sicherung der AGI-Geheimnisse und die Abschwächung der staatlichen Bedrohung werden enorme Anstrengungen erfordern, und der derzeitige Trend ist nicht auf Kurs.

Der Autor warnt, dass in den nächsten 12-24 Monaten wahrscheinlich wichtige AGI-Durchbrüche an die KPC durchsickern werden, was eine verheerende Niederlage für die nationalen Sicherheitsinteressen der freien Welt wäre. Er argumentiert, dass der Erhalt der freien Welt auf dem Spiel steht und ein gesunder Vorsprung im AGI-Rennen notwendig ist, um den Spielraum zu haben, die KI-Sicherheit richtig hinzubekommen.

Die Auswirkungen des rasanten Fortschritts bei den KI-Fähigkeiten, die in diesem Dokument skizziert werden, sind in der Tat atemberaubend. Bis 2027 könnten wir möglicherweise das Auftauchen von KI-Systemen sehen, die die Arbeit von KI-Forschern automatisieren können, was zu einer Intelligenzexplosion und der potenziellen Entwicklung superintelligenter Systeme führen würde.

Diese superintelligenten Systeme könnten über enorme Macht verfügen, in der Lage sein, Militärsysteme zu hacken, fortschrittliche Waffen zu entwickeln und sogar Regierungen zu stürzen. Die Sicherheitsimplikationen sind verheerend, da das Durchsickern wichtiger algorithmischer Durchbrüche autoritären Staaten einen entscheidenden militärischen Vorteil verschaffen könnte.

Gleichzeitig bleibt das Ausrichtungsproblem - die Sicherstellung, dass diese superintelligenten Systeme zuverlässig im Einklang mit menschlichen Werten und Interessen handeln - eine ungelöste Herausforderung. Die Geschwindigkeit des Fortschritts könnte unser Verständnis und unsere Kontrolle dieser Systeme überfordern und das Risiko katastrophaler Ausfälle erhöhen.

Der Autor betont die dringende Notwendigkeit robuster Sicherheitsmaßnahmen, um die Forschungsinfrastruktur zu schützen und die vorzeitige Verbreitung dieser transformativen Fähigkeiten zu verhindern. Ein Versagen dabei könnte verheerende Folgen für die Zukunft der Menschheit haben.