Le chercheur qui a récemment quitté OpenAI a exprimé de graves préoccupations concernant les priorités de l'entreprise, affirmant qu'il est urgent de trouver comment orienter et contrôler les systèmes d'IA beaucoup plus intelligents que les humains. Il a rejoint OpenAI parce qu'il pensait que ce serait le meilleur endroit pour mener cette recherche cruciale, mais il a été en désaccord avec la direction de l'entreprise sur ses priorités fondamentales depuis un certain temps.

Le chercheur estime que plus de la bande passante d'OpenAI devrait être consacrée à la sécurité, à la surveillance, à la préparation, à la sûreté, à la robustesse face aux attaques, à l'alignement supérieur, à la confidentialité et à l'impact sociétal. Il craint que la trajectoire actuelle ne soit pas sur la bonne voie pour résoudre ces problèmes, car la culture et les processus de sécurité ont été relégués au second plan au profit du développement de produits.

La construction de machines plus intelligentes que les humains est une entreprise intrinsèquement dangereuse, et OpenAI assume une responsabilité énorme au nom de toute l'humanité. Le chercheur affirme que nous sommes depuis longtemps en retard pour prendre au sérieux les implications de l'AGI, et nous devons prioritiser la préparation du mieux possible, afin de s'assurer que l'AGI bénéficie à toute l'humanité.

Le chercheur conclut qu'OpenAI doit devenir une "entreprise d'AGI axée sur la sécurité" si elle veut réussir, car les priorités actuelles ne sont pas alignées sur le besoin urgent d'orienter et de contrôler ces puissants systèmes d'IA.

Il est clair qu'au fil du temps passé chez OpenAI, Jan Leike a été en désaccord avec la direction de l'entreprise sur leurs priorités fondamentales pendant un certain temps. Ce n'était pas un désaccord ponctuel, mais un problème de longue date où Leike estimait que l'entreprise ne donnait pas assez la priorité aux préoccupations de sécurité et de sûreté, contrairement à ce qu'il jugeait nécessaire.

Leike déclare qu'il a rejoint OpenAI parce qu'il pensait que ce serait le meilleur endroit pour mener des recherches cruciales sur l'alignement des systèmes d'IA avancés. Cependant, il est arrivé à un "point de rupture" où il ne pouvait plus être d'accord avec la direction et les priorités de l'entreprise.

Leike estime que plus de ressources et de focus d'OpenAI devraient être consacrés à la préparation des prochaines générations de modèles d'IA, notamment dans des domaines comme la sécurité, la sûreté, l'alignement, la confidentialité et l'impact sociétal. Il craint qu'OpenAI ne soit pas actuellement sur la bonne trajectoire pour s'attaquer à ces questions critiques.

Le chercheur dit que ces derniers mois, son équipe "naviguait contre le vent" et luttait pour obtenir les ressources informatiques nécessaires pour mener leurs importantes recherches sur la sécurité. Cela suggère qu'OpenAI n'allouait pas suffisamment de ressources aux travaux de l'équipe d'alignement.

en fin de compte, Leike a senti qu'il devait s'éloigner d'OpenAI, car il ne pouvait plus réconcilier les priorités de l'entreprise avec ses propres convictions sur le besoin urgent de s'assurer que les systèmes d'IA avancés soient sûrs et bénéfiques pour l'humanité. Son départ, ainsi que la dissolution de l'équipe d'OpenAI sur les risques à long terme de l'IA, est un développement préoccupant qui met en lumière les défis de l'équilibre entre innovation et sécurité dans le domaine en pleine évolution de l'intelligence artificielle.

Ces derniers mois, l'équipe travaillant sur la recherche en sécurité chez OpenAI a "navigué contre le vent". Ils luttaient pour obtenir les ressources informatiques nécessaires pour mener leurs recherches cruciales, ce qui rendait de plus en plus difficile de progresser.

Le billet de blog indique que l'équipe n'a reçu que 20% des ressources de calcul totales d'OpenAI, les 80% restants étant alloués à d'autres projets. Cependant, même ce 20% alloué n'était pas toujours disponible, entraînant des retards dans leur travail.

Le manque de puissance de calcul suffisante a gravement entravé la capacité de l'équipe à étudier en profondeur la sécurité et l'alignement des systèmes d'IA avancés. Sans les ressources requises, ils n'ont pas pu mener les recherches qu'ils jugeaient nécessaires pour assurer le développement sûr des capacités d'IA transformatrices.

Cette pénurie de calcul est une préoccupation majeure, car le billet souligne le besoin urgent de trouver comment orienter et contrôler les systèmes d'IA beaucoup plus intelligents que les humains. Le départ de l'équipe de recherche sur la sécurité suggère qu'OpenAI n'a pas réussi à donner la priorité à ce travail crucial, ce qui pourrait potentiellement mettre en danger le développement de l'IA avancée.

La construction de machines plus intelligentes que les humains est une entreprise intrinsèquement dangereuse. Open AI assume une responsabilité énorme au nom de toute l'humanité. Cependant, ces dernières années, la culture et les processus de sécurité ont été relégués au second plan au profit du développement de produits.

Nous sommes depuis longtemps en retard pour prendre au sérieux les implications de l'AGI. Nous devons prioritiser la préparation du mieux possible, ce n'est qu'alors que nous pourrons nous assurer que l'AGI bénéficie à toute l'humanité. Open AI doit devenir une entreprise d'AGI axée sur la sécurité s'ils veulent réussir. Ne pas le faire risque d'avoir des conséquences catastrophiques qui pourraient avoir un impact sur tout le monde.

La dissolution de l'équipe d'Open AI concentrée sur les risques à long terme de l'IA, ainsi que les départs de dirigeants clés, est un développement préoccupant. Cela suggère que la sécurité n'est pas la priorité numéro un, malgré le besoin urgent de s'attaquer à ces défis cruciaux. Des changements importants sont nécessaires pour mettre Open AI sur une trajectoire permettant de développer de manière sûre des systèmes d'IA avancés qui bénéficient à l'humanité dans son ensemble.

Le départ de chercheurs clés d'OpenAI, dont Ilia Sutskever et Jan Leike, met en lumière une tendance préoccupante au sein de l'entreprise. Selon la transcription, Sutskever déclare que ces dernières années, "la culture et les processus de sécurité ont été relégués au second plan au profit des produits" chez OpenAI.

Cela suggère que l'entreprise s'est éloignée de la priorité accordée à la sécurité et au développement responsable de ses systèmes d'IA avancés, au profit d'une itération et d'un déploiement rapides de produits. Sutskever exprime sa conviction qu'OpenAI doit devenir une "entreprise d'AGI axée sur la sécurité" s'ils veulent réussir, sous-entendant que leur trajectoire actuelle n'est pas alignée sur cette impératif.

La dissolution de l'équipe d'OpenAI concentrée sur les risques à long terme de l'IA, moins d'un an après son annonce, souligne davantage ce changement de priorités. Ce mouvement, associé aux départs de chercheurs clés axés sur la sécurité, brosse un tableau préoccupant de l'engagement d'OpenAI à s'attaquer aux dangers inhérents à la construction de "machines plus intelligentes que les humains".

L'avertissement de Sutskever selon lequel nous sommes "depuis longtemps en retard" pour prendre "incroyablement au sérieux les implications de l'AGI" souligne l'urgence de cette question. La responsabilité qu'OpenAI assume au nom de l'humanité nécessite un accent indéfectible sur la sécurité et la préparation, plutôt qu'une course au développement de produits.

Les implications de ce changement de priorités pourraient être loin d'être négligeables, car le développement de systèmes d'IA avancés sans les garde-fous appropriés pose des risques importants pour la société. Il reste à voir comment OpenAI répondra à ces préoccupations et s'il réévaluera la culture de sécurité et l'atténuation des risques à long terme de l'IA dans ses futurs efforts.

Le départ de chercheurs clés d'OpenAI en raison de préoccupations en matière de sécurité est un signe clair que l'entreprise doit faire de la sécurité et de la préparation de l'IA sa priorité absolue. Comme le déclare Jan Leike, "nous avons urgemment besoin de trouver comment orienter et contrôler les systèmes d'IA beaucoup plus intelligents que nous".

Le fait que Leike et d'autres aient "été en désaccord avec la direction d'OpenAI sur les priorités fondamentales de l'entreprise depuis un certain temps" est profondément préoccupant. Cela suggère que la culture et les processus de sécurité ont été relégués au second plan au profit d'un développement rapide de produits, au détriment de la recherche cruciale sur l'alignement de l'IA, la sécurité et l'impact sociétal.

Leike a raison de souligner que "construire des machines plus intelligentes que les humains est une entreprise intrinsèquement dangereuse" et qu'OpenAI "assume une responsabilité énorme au nom de toute l'humanité". L'entreprise doit tenir compte de cet avertissement et opérer un changement radical pour devenir une "entreprise d'AGI axée sur la sécurité" si elle veut réussir à développer en toute sécurité des systèmes d'IA transformateurs.

Comme le dit Leike, nous sommes "depuis longtemps en retard" pour prendre au sérieux les implications de l'IA avancée. Donner la priorité à la préparation aux défis des futurs systèmes d'AGI est essentiel pour s'assurer qu'ils bénéficient à toute l'humanité, plutôt que de représenter des risques existentiels. OpenAI doit consacrer beaucoup plus de ses ressources et de son attention à ces questions cruciales, même si cela signifie ralentir le rythme de l'innovation à court terme.

La dissolution de l'équipe d'OpenAI concentrée sur les risques à long terme de l'IA est un développement profondément troublant qui exige une action immédiate. Reconstruire et donner plus de pouvoir à cet effort de recherche crucial doit être une priorité absolue. Ne pas le faire serait une abdication de la responsabilité d'OpenAI et une grave menace pour l'avenir de l'humanité.

Jan Leike, un chercheur de premier plan en sécurité de l'IA, a récemment quitté OpenAI en raison de préoccupations concernant les priorités de l'entreprise. Leike déclare que plus de la bande passante d'OpenAI devrait être consacrée à la sécurité, à la surveillance, à la préparation, à la sûreté, à la robustesse face aux attaques, à l'alignement supérieur, à la confidentialité et à l'impact sociétal.

Leike estime qu'OpenAI n'est actuellement pas sur la bonne trajectoire pour développer de manière sûre des systèmes d'IA avancés, malgré le besoin urgent de trouver comment orienter et contrôler une IA beaucoup plus intelligente que les humains. Il dit que la culture et les processus de sécurité chez OpenAI ont été relégués au second plan au profit du développement de produits.

Leike fait valoir que construire des machines plus intelligentes que les humains est une entreprise intrinsèquement dangereuse, et qu'OpenAI assume une responsabilité énorme au nom de l'humanité. Il affirme qu'OpenAI doit devenir une entreprise d'AGI "axée sur la sécurité" s'ils veulent réussir, en donnant la priorité à la préparation aux implications des systèmes d'IA avancés.

La dissolution de l'équipe d'OpenAI concentrée sur les risques à long terme de l'IA, ainsi que les départs de leaders clés comme Leike et Dario Amodei, soulignent davantage la nécessité pour OpenAI de recentrer ses efforts sur la sécurité et l'alignement. Elon Musk a également déclaré que la sécurité doit devenir une priorité absolue pour l'entreprise.

Dans l'ensemble, le départ de Leike et les événements qui l'entourent indiquent un moment critique pour OpenAI. L'entreprise doit tenir compte de ces avertissements et faire des efforts concertés pour placer la sécurité au premier plan de son développement d'AGI, sous peine de risquer les conséquences potentiellement catastrophiques de systèmes d'IA avancés qui ne sont pas correctement alignés avec les valeurs et les intérêts de l'humanité.

Le départ de chercheurs clés d'OpenAI, y compris de l'équipe concentrée sur les risques à long terme de l'IA, est un développement préoccupant qui met en lumière le besoin urgent de donner la priorité à la sécurité et à l'alignement de l'IA.

Les commentaires de Jan Leike, un ancien chercheur d'OpenAI, indiquent qu'il y a eu des désaccords de longue date avec la direction de l'entreprise sur la priorité accordée à la sécurité par rapport au développement rapide de produits. Ses avertissements sur les dangers de construire des "machines plus intelligentes que les humains" et la nécessité de "trouver d'urgence comment orienter et contrôler les systèmes d'IA beaucoup plus intelligents que nous" soulignent la gravité de la situation.

La dissolution de l'équipe d'OpenAI axée sur la sécurité, moins d'un an après sa création, suggère en outre que l'entreprise a eu du mal à allouer des ressources et de l'attention suffisantes à ce domaine crucial. Cela soulève des questions sur l'engagement d'OpenAI à assurer le développement sûr et bénéfique des systèmes d'