Les discussions de la ville ont glissé des grappes de calcul de 10 milliards à des grappes de calcul de centaines de milliards, voire de mille milliards de dollars. Tous les 6 mois, un autre zéro est ajouté aux plans des conseils d'administration. La course à l'AGI a commencé. Nous construisons des machines qui peuvent penser et raisonner, et d'ici 2025-2026, ces machines dépasseront les diplômés universitaires. D'ici la fin de la décennie, elles seront plus intelligentes que vous ou moi, et nous aurons une superintelligence dans le sens le plus strict du terme.

Chemin faisant, des forces de sécurité nationale qu'on n'a pas vues depuis un demi-siècle seront déchaînées. Bientôt, le monde se réveillera, mais pour l'instant, il n'y a peut-être que quelques centaines de personnes, principalement à San Francisco et dans les laboratoires d'IA, qui ont réellement conscience de la situation. Par je ne sais quelles forces ou destins particuliers, je me suis retrouvé parmi eux, et c'est pourquoi ce document est si important.

Ma prédiction sur l'AGI - l'AGI d'ici 2027 est remarquablement plausible. De GPT-2 à GPT-4, nous sommes passés des capacités d'un enfant d'âge préscolaire à celles d'un lycéen intelligent en seulement 4 ans. Si nous suivons les tendances du calcul, des efficacités algorithmiques et du "délestage" des gains, nous devrions nous attendre à un autre bond qualitatif de la taille d'un enfant d'âge préscolaire à un lycéen d'ici 2027.

Ma prédiction sur l'AGI : l'AGI d'ici 2027 est remarquablement plausible. De GPT-2 à GPT-4, nous sommes passés des capacités d'un enfant d'âge préscolaire à celles d'un lycéen intelligent en seulement 4 ans. Si nous suivons les tendances du calcul, des efficacités algorithmiques et du "délestage" des gains, nous devrions nous attendre à un autre bond qualitatif de la taille d'un enfant d'âge préscolaire à un lycéen d'ici 2027.

Je fais la déclaration suivante : il est remarquablement plausible qu'en 2027, les modèles seront capables de faire le travail d'un chercheur en IA ou d'un ingénieur logiciel. Cela ne nécessite pas de croire à la science-fiction, juste de croire aux lignes droites sur un graphique.

Le graphique de l'augmentation de base de l'efficacité du calcul, en comptant de GPT-2 à GPT-4, montre une tendance claire. Pendant la période 2022-2023, il y a eu une période de "prise de conscience" accrue autour de GPT-3 et GPT-4, ce qui a mis les projecteurs sur l'ère de l'IA. GPT-4 et ChatGPT 3.5 étaient des produits réels accessibles au public, provoquant une explosion d'intérêt et d'investissement dans l'IA.

Cela suggère que la courbe de croissance de 2024 à 2028 pourrait être encore plus raide que la période précédente. Avoir un ingénieur de recherche en IA automatisé d'ici 2027-2028 ne semble pas hors de portée compte tenu des tendances du calcul. Les implications sont graves - si nous pouvons automatiser la recherche en IA, il ne faudrait pas longtemps pour atteindre la superintelligence, car nous permettrions une auto-amélioration récursive.

La croissance des capacités de l'IA a été exponentielle ces dernières années, chaque nouvelle génération de modèles démontrant des progrès remarquables.

De GPT-2 à GPT-4, nous avons assisté à une progression rapide, comparable à celle d'un enfant d'âge préscolaire à un élève de lycée en seulement 4 ans. Cette tendance devrait se poursuivre, avec la prédiction qu'en 2027, les modèles d'IA seront capables d'effectuer le travail d'un chercheur en IA ou d'un ingénieur logiciel.

Les principaux moteurs de cette progression exponentielle sont :

1. Mise à l'échelle du calcul : le calcul effectif utilisé pour former ces modèles a connu une augmentation spectaculaire, suivant une tendance constante. Cela permet de former des modèles plus grands et plus performants.

2. Efficacité algorithmique : les progrès algorithmiques ont conduit à des améliorations significatives de l'efficacité de ces modèles, le coût pour atteindre 50 % de précision sur le benchmark mathématique ayant diminué de près de 3 ordres de grandeur en moins de 2 ans.

3. Déblocage des capacités latentes : des techniques comme le raisonnement en chaîne de pensée et l'échafaudage ont permis de débloquer les capacités latentes de ces modèles, leur permettant d'effectuer des tâches bien au-delà de leur formation initiale.

La magie de l'apprentissage profond est qu'il fonctionne simplement, et les tendances ont été étonnamment cohérentes malgré les sceptiques à chaque tournant. Nous pouvons voir que lorsque le calcul est mis à l'échelle, la qualité et la cohérence des résultats s'améliorent de manière spectaculaire.

Bien que les investissements massifs dans le calcul attirent toute l'attention, les progrès algorithmiques sont également un moteur important du progrès et sont considérablement sous-estimés. Pour voir à quel point les progrès algorithmiques peuvent être importants, considérez l'illustration suivante - la baisse du prix pour atteindre 50 % de précision sur le benchmark mathématique sur seulement 2 ans. À titre de comparaison, un étudiant en doctorat en informatique qui n'aimait pas particulièrement les mathématiques a obtenu 40 %, ce qui est déjà assez bon. L'efficacité de l'inférence s'est améliorée de près de trois ordres de grandeur ou 1 000 fois en moins de 2 ans.

Ces efficacités algorithmiques vont entraîner beaucoup plus de gains que vous ne le pensez. Il y a des milliers d'articles de recherche publiés chaque jour qui débloquent des gains de 10 à 30 %. Lorsque vous cumulez toutes ces petites améliorations, le progrès global peut être stupéfiant.

La prochaine décennie s'annonce comme une période cruciale dans le développement de l'intelligence artificielle. Selon l'analyse, d'ici 2027, il est remarquablement plausible que les modèles d'IA atteignent le niveau de capacité des chercheurs et des ingénieurs en IA. Cela permettrait l'automatisation de la recherche en IA elle-même, déclenchant une boucle de rétroaction de progrès accélérés.

Les principales conclusions sont :

1. Mise à l'échelle exponentielle : les tendances du calcul, de l'efficacité algorithmique et du "délestage" des modèles d'IA indiquent un autre bond qualitatif de la taille d'un enfant d'âge préscolaire à un lycéen d'ici 2027. Cela pourrait permettre aux systèmes d'IA d'égaler le travail des chercheurs en IA humains.

2. Recherche en IA automatisée : une fois que l'IA pourra automatiser son propre processus de recherche, elle sera en mesure de s'itérer et de s'améliorer rapidement, entraînant une "explosion d'intelligence". Cela pourrait compresser des années de progrès algorithmiques en quelques semaines ou mois.

3. Limites de la mise à l'échelle du calcul : bien que la mise à l'échelle du calcul continuera à alimenter les progrès, il y a des limites pratiques à la quantité de calcul qui peut être appliquée au problème. Cela signifie qu'à la fin de la décennie, de nouvelles percées nécessiteront probablement des avancées algorithmiques fondamentales, et non plus seulement plus de calcul brut.

Le progrès de l'IA ne s'arrêtera pas au niveau humain. Des centaines de millions d'AGI pourraient automatiser la recherche en IA, compressant une décennie de progrès algorithmiques qui ajoutent cinq ordres de grandeur en une seule année. Nous passerions rapidement d'un niveau de capacité humaine à des systèmes d'IA vastement surhumains. La puissance et le péril de la superintelligence seraient dramatiques.

Une fois que nous aurons la capacité d'automatiser la recherche en IA, une explosion d'intelligence devient probable. Chaque fois qu'un chercheur en IA fait une percée, cette percée peut être immédiatement appliquée au système d'IA, le rendant plus intelligent et capable de faire d'autres percées. Cette boucle de rétroaction pourrait entraîner une augmentation extrêmement rapide des capacités de l'IA, dépassant de loin l'intelligence humaine.

La transition de l'AGI à la superintelligence ne peut prendre que 2 à 3 ans. À ce stade, l'architecture de ces systèmes sera "extraterrestre" - conçue par les générations précédentes d'IA super-intelligentes, et non par des humains. Les échecs à ce stade pourraient être catastrophiques, car nous n'aurons aucune capacité à vraiment comprendre ou superviser le comportement de ces systèmes superintelligents.

L'auteur souligne l'importance cruciale de sécuriser l'infrastructure de recherche et de protéger les secrets algorithmiques clés et les poids des modèles alors que la course à l'AGI (Intelligence Artificielle Générale) s'intensifie.

Il déclare que pour l'instant, les principaux laboratoires d'IA traitent la sécurité comme une préoccupation secondaire, essentiellement en remettant les secrets du développement de l'AGI à des adversaires comme le Parti communiste chinois (PCC) sur un "plateau d'argent". Sécuriser les secrets de l'AGI et atténuer la menace des acteurs étatiques nécessitera des efforts immenses, et la trajectoire actuelle n'est pas sur la bonne voie.

L'auteur avertit que dans les 12 à 24 prochains mois, les principales percées de l'AGI sont susceptibles d'être divulguées au PCC, ce qui serait un coup dur dévastateur pour les intérêts de sécurité nationale du monde libre. Il fait valoir que la préservation du monde libre est en jeu, et une avance saine dans la course à l'AGI est nécessaire pour avoir la marge de manœuvre pour bien faire en matière de sécurité de l'IA.

Les implications de la progression rapide des capacités de l'IA décrite dans ce document sont véritablement stupéfiantes. D'ici 2027, nous pourrions voir l'émergence de systèmes d'IA capables d'automatiser le travail des chercheurs en IA, entraînant une explosion d'intelligence et le développement potentiel de systèmes superintelligents.

Ces systèmes superintelligents pourraient avoir un pouvoir immense, capables de pirater des systèmes militaires, de concevoir des armes avancées, voire de renverser des gouvernements. Les implications en matière de sécurité sont graves, car la fuite de percées algorithmiques clés pourrait donner aux États autoritaires un avantage militaire décisif.

Parallèlement, le problème de l'alignement - faire en sorte que ces systèmes superintelligents se comportent de manière fiable conformément aux valeurs et aux intérêts des humains - reste un défi non résolu. La vitesse des progrès pourrait dépasser notre capacité à comprendre et à contrôler ces systèmes, ce qui augmente le risque d'échecs catastrophiques.