La carta destaca varios riesgos graves planteados por la tecnología avanzada de IA:

• Mayor atrincheramiento de las desigualdades existentes
• Manipulación y desinformación
• Pérdida de control de los sistemas de IA autónomos, lo que podría resultar en la extinción de la humanidad
• Actores malintencionados que obtienen acceso sin filtrar a modelos de IA poderosos y causan daños significativos

La carta afirma que estas empresas de IA y otros expertos en IA han reconocido estos riesgos. Sin embargo, las empresas de IA tienen fuertes incentivos financieros para evitar una supervisión efectiva, y las estructuras actuales de gobierno corporativo son insuficientes para abordar estas preocupaciones.

La carta destaca los graves riesgos planteados por las tecnologías avanzadas de IA, que van desde un mayor atrincheramiento de las desigualdades existentes hasta la posible pérdida de control de los sistemas de IA autónomos que podrían resultar en la extinción de la humanidad. Los autores reconocen que si bien las empresas de IA y los gobiernos han reconocido estos riesgos, existen fuertes incentivos financieros para que las empresas de IA eviten una supervisión efectiva.

Los autores argumentan que las estructuras actuales de gobierno corporativo son insuficientes para abordar estas preocupaciones, ya que las empresas de IA poseen información sustancial no pública sobre las capacidades y limitaciones de sus sistemas, así como la adecuación de sus medidas de protección y niveles de riesgo. Sin embargo, tienen solo débiles obligaciones de compartir esta información con los gobiernos y ninguna con la sociedad civil.

La carta exige que las empresas de IA se comprometan con principios que permitirían una mayor transparencia y rendición de cuentas, incluyendo:

1. No celebrar ni hacer cumplir ningún acuerdo que prohíba la crítica o el menosprecio de la empresa por preocupaciones relacionadas con el riesgo, ni tomar represalias por dicha crítica al obstaculizar cualquier beneficio económico devengado.

2. Facilitar un proceso verificablemente anónimo para que los empleados actuales y anteriores planteen preocupaciones relacionadas con el riesgo a la junta directiva de la empresa, los reguladores y las organizaciones independientes apropiadas.

3. Apoyar una cultura de crítica abierta y permitir que los empleados actuales y anteriores planteen preocupaciones relacionadas con el riesgo sobre las tecnologías de la empresa al público, a la junta directiva de la empresa, a los reguladores o a las organizaciones independientes apropiadas, protegiendo al mismo tiempo los secretos comerciales y los intereses de propiedad intelectual.

La carta destaca los problemas preocupantes que rodean las estructuras de gobierno corporativo de las principales empresas de IA. Afirma que si bien estas empresas poseen información sustancial no pública sobre las capacidades, limitaciones y riesgos de sus sistemas de IA, actualmente tienen solo débiles obligaciones de compartir esta información con los gobiernos y el público.

La carta argumenta que las empresas de IA tienen fuertes incentivos financieros para evitar una supervisión efectiva, y que las estructuras actuales de gobierno corporativo son insuficientes para abordar esto. Cita el ejemplo de OpenAI, donde la estructura única y la independencia de la junta le permitieron tomar decisiones sin consultar a las partes interesadas, lo que llevó a la eliminación abrupta del director ejecutivo Sam Altman. Este incidente subraya las consecuencias de una estructura de gobierno que no logra equilibrar diferentes objetivos organizacionales e intereses de las partes interesadas.

En contraste, la carta cita el caso de Anthropic, que ha desarrollado un modelo de gobierno diseñado para apoyar de manera más efectiva tanto su misión como sus objetivos financieros. Esta estructura tiene como objetivo evitar los conflictos vistos en OpenAI al incorporar controles, equilibrios y acomodar las perspectivas de varias partes interesadas.

La carta concluye exhortando a las empresas de IA a comprometerse con principios que facilitarían una cultura de crítica abierta y permitirían que los empleados actuales y anteriores planteen preocupaciones relacionadas con el riesgo sin temor a represalias o pérdida de beneficios económicos devengados. Esto, argumentan los autores, es necesario para garantizar una supervisión y rendición de cuentas públicas adecuadas para el desarrollo de sistemas de IA avanzados.

La carta destaca la necesidad crítica de una mayor transparencia y protecciones para los empleados en el desarrollo de sistemas de IA avanzados. Puntos clave:

• Las empresas de IA poseen información sustancial no pública sobre las capacidades, limitaciones y riesgos de sus sistemas, pero tienen débiles obligaciones de compartir esto con los gobiernos y el público.

• Las estructuras actuales de gobierno corporativo son insuficientes para abordar adecuadamente estos riesgos, ya que las empresas de IA tienen fuertes incentivos financieros para evitar una supervisión efectiva.

• Los amplios acuerdos de confidencialidad bloquean que los empleados actuales y anteriores expresen sus preocupaciones, ya que corren el riesgo de perder una compensación significativa en acciones si hablan.

• La carta exhorta a las empresas de IA a comprometerse con principios que protejan la capacidad de los empleados para plantear críticas relacionadas con el riesgo sin represalias, y a facilitar la presentación anónima de preocupaciones a la junta directiva de la empresa, los reguladores y los expertos independientes.

• Los procesos transparentes y responsables son esenciales para garantizar el desarrollo responsable de tecnologías de IA transformadoras que podrían plantear riesgos existenciales para la humanidad. Empoderar a los empleados para discutir abiertamente estos temas es un paso crucial.

La carta de los empleados actuales y anteriores de empresas de IA de vanguardia insta a las empresas de IA avanzadas a comprometerse con varios principios clave:

1. Sin acuerdos de menosprecio: Las empresas no celebrarán ni harán cumplir ningún acuerdo que prohíba el menosprecio o la crítica de la empresa por preocupaciones relacionadas con el riesgo.

2. Sin represalias: Las empresas no tomarán represalias contra los empleados por plantear críticas relacionadas con el riesgo al obstaculizar los beneficios económicos devengados.

3. Proceso de presentación de informes anónimo: Las empresas facilitarán un proceso verificablemente anónimo para que los empleados actuales y anteriores planteen preocupaciones relacionadas con el riesgo a la junta directiva de la empresa, los reguladores y las organizaciones independientes apropiadas.

4. Cultura de crítica abierta: Las empresas apoyarán una cultura de crítica abierta y permitirán que los empleados actuales y anteriores planteen preocupaciones relacionadas con el riesgo sobre sus tecnologías al público, a la junta directiva de la empresa, a los reguladores o a las organizaciones independientes apropiadas, siempre que se protejan los secretos comerciales y la propiedad intelectual.

La carta argumenta que estos principios son necesarios porque las empresas de IA tienen actualmente fuertes incentivos financieros para evitar una supervisión efectiva, y las estructuras de gobierno corporativo existentes son insuficientes para abordar los graves riesgos planteados por los sistemas de IA avanzados. Al comprometerse con estos principios éticos, la carta afirma que las empresas de IA pueden ayudar a garantizar la transparencia y la rendición de cuentas en torno al desarrollo de tecnologías de IA transformadoras.

La carta "Un derecho a advertir sobre la inteligencia artificial avanzada" plantea preocupaciones significativas sobre los posibles riesgos planteados por los sistemas de IA avanzados, incluido el atrincheramiento de las desigualdades existentes, la manipulación y la desinformación, y la pérdida de control de los sistemas de IA autónomos que podrían resultar en la extinción de la humanidad.

La carta destaca que si bien las empresas de IA han reconocido estos riesgos, tienen fuertes incentivos financieros para evitar una supervisión efectiva. Los autores argumentan que las estructuras actuales de gobierno corporativo son insuficientes para abordar estos problemas, y hacen un llamado a las empresas de IA para que se comprometan con principios que permitan que los empleados actuales y anteriores planteen preocupaciones relacionadas con el riesgo sin temor a represalias.

La carta enfatiza la importancia de facilitar la crítica abierta y permitir que los empleados adviertan al público, los reguladores y las organizaciones independientes sobre los problemas potenciales con los sistemas de IA, mientras se protegen adecuadamente los secretos comerciales y la propiedad intelectual. Esta transparencia y rendición de cuentas son cruciales a medida que el desarrollo de poderosos sistemas de IA, potencialmente capaces de impactar a toda la humanidad, continúa avanzando rápidamente.