A carta destaca vários riscos graves apresentados pela tecnologia de IA avançada:

• Maior consolidação das desigualdades existentes
• Manipulação e desinformação
• Perda de controle de sistemas de IA autônomos, podendo resultar na extinção da humanidade
• Atores maliciosos obtendo acesso irrestrito a modelos de IA poderosos e causando danos significativos

A carta afirma que esses riscos foram reconhecidos por empresas de IA, governos e outros especialistas em IA. No entanto, as empresas de IA têm fortes incentivos financeiros para evitar uma supervisão eficaz, e as estruturas atuais de governança corporativa são insuficientes para abordar essas preocupações.

A carta pede que as empresas de IA se comprometam com princípios que permitiriam que os funcionários atuais e anteriores levantem preocupações relacionadas a riscos sem medo de retaliação ou perda de benefícios econômicos adquiridos. Eles também solicitam um processo verificável e anônimo para levantar essas preocupações ao conselho da empresa, reguladores e organizações independentes.

A carta destaca os sérios riscos apresentados pelas tecnologias de IA avançadas, que vão desde o aprofundamento das desigualdades existentes até a possível perda de controle de sistemas de IA autônomos que poderiam resultar na extinção da humanidade. Os autores reconhecem que, embora as empresas de IA e os governos tenham reconhecido esses riscos, existem fortes incentivos financeiros para que as empresas de IA evitem uma supervisão eficaz.

Os autores argumentam que as estruturas atuais de governança corporativa são insuficientes para abordar essas preocupações, pois as empresas de IA possuem informações substanciais não públicas sobre as capacidades e limitações de seus sistemas, bem como a adequação de suas medidas de proteção e níveis de risco. No entanto, elas têm apenas fracas obrigações de compartilhar essas informações com os governos e nenhuma com a sociedade civil.

A carta pede que as empresas de IA se comprometam com princípios que permitiriam uma maior transparência e responsabilidade, incluindo:

1. Não celebrar ou fazer cumprir qualquer acordo que proíba a depreciação ou crítica da empresa por preocupações relacionadas a riscos, nem retaliar por tais críticas, prejudicando quaisquer benefícios econômicos adquiridos.

2. Facilitar um processo verificavelmente anônimo para que os funcionários atuais e anteriores levantem preocupações relacionadas a riscos ao conselho da empresa, reguladores e organizações independentes apropriadas.

3. Apoiar uma cultura de crítica aberta e permitir que os funcionários atuais e anteriores levantem preocupações relacionadas a riscos sobre as tecnologias da empresa para o público, o conselho da empresa, reguladores ou organizações independentes apropriadas, protegendo segredos comerciais e interesses de propriedade intelectual.

A carta destaca os problemas preocupantes em torno das estruturas de governança corporativa das principais empresas de IA. Ela afirma que, embora essas empresas possuam informações substanciais não públicas sobre as capacidades, limitações e riscos de seus sistemas de IA, atualmente elas têm apenas fracas obrigações de compartilhar essas informações com os governos e o público.

A carta argumenta que as empresas de IA têm fortes incentivos financeiros para evitar uma supervisão eficaz, e as estruturas atuais de governança corporativa são insuficientes para lidar com isso. Ela cita o exemplo da OpenAI, onde a estrutura única e a independência do conselho permitiram que ela tomasse decisões sem consultar as partes interessadas, levando à remoção abrupta do CEO Sam Altman. Esse incidente ressalta as consequências de uma estrutura de governança que não consegue equilibrar diferentes objetivos organizacionais e interesses das partes interessadas.

Em contraste, a carta cita o caso da Anthropic, que desenvolveu um modelo de governança projetado para apoiar sua missão e objetivos financeiros de maneira mais eficaz. Essa estrutura visa evitar os conflitos vistos na OpenAI, incorporando controles, equilíbrios e acomodando as perspectivas de várias partes interessadas.

A carta conclui pedindo que as empresas de IA se comprometam com princípios que facilitariam uma cultura de crítica aberta e permitiriam que os funcionários atuais e anteriores levantassem preocupações relacionadas a riscos sem medo de retaliação ou perda de benefícios econômicos adquiridos. Isso, argumentam os autores, é necessário para garantir uma supervisão pública adequada e responsabilidade pelo desenvolvimento de sistemas de IA avançados.

A carta destaca a necessidade crítica de maior transparência e proteções aos funcionários no desenvolvimento de sistemas de IA avançados. Pontos-chave:

• As empresas de IA possuem informações substanciais não públicas sobre as capacidades, limitações e riscos de seus sistemas, mas têm fracas obrigações de compartilhar isso com os governos e o público.

• As estruturas atuais de governança corporativa são insuficientes para abordar adequadamente esses riscos, pois as empresas de IA têm fortes incentivos financeiros para evitar uma supervisão eficaz.

• Amplos acordos de confidencialidade bloqueiam os funcionários atuais e anteriores de expressar suas preocupações, pois eles correm o risco de perder uma compensação significativa em ações se se manifestarem.

• A carta pede que as empresas de IA se comprometam com princípios que protejam a capacidade dos funcionários de levantar críticas relacionadas a riscos sem retaliação, e que facilitem o relato anônimo de preocupações ao conselho da empresa, reguladores e especialistas independentes.

• Processos transparentes e responsáveis são essenciais para garantir o desenvolvimento responsável de tecnologias de IA transformadoras que possam representar riscos existenciais para a humanidade. Capacitar os funcionários para discutir abertamente essas questões é um passo crucial.

A carta de funcionários atuais e anteriores de empresas de IA de ponta pede que as empresas de IA avançadas se comprometam com vários princípios-chave:

1. Sem Acordos de Depreciação: As empresas não celebrarão ou farão cumprir qualquer acordo que proíba a depreciação ou crítica da empresa por preocupações relacionadas a riscos.

2. Sem Retaliação: As empresas não retaliará contra os funcionários por levantarem críticas relacionadas a riscos, prejudicando quaisquer benefícios econômicos adquiridos.

3. Processo de Relato Anônimo: As empresas facilitarão um processo verificavelmente anônimo para que os funcionários atuais e anteriores levantem preocupações relacionadas a riscos ao conselho da empresa, reguladores e organizações independentes apropriadas.

4. Cultura de Crítica Aberta: As empresas apoiarão uma cultura de crítica aberta e permitirão que os funcionários atuais e anteriores levantem preocupações relacionadas a riscos sobre suas tecnologias para o público, o conselho da empresa, reguladores ou organizações independentes apropriadas, desde que sejam protegidos os segredos comerciais e a propriedade intelectual.

A carta argumenta que esses princípios são necessários porque as empresas de IA atualmente têm fortes incentivos financeiros para evitar uma supervisão eficaz, e as estruturas de governança corporativa existentes são insuficientes para abordar os sérios riscos apresentados pelos sistemas de IA avançados. Ao se comprometer com esses princípios éticos, a carta afirma que as empresas de IA podem ajudar a garantir a transparência e a responsabilidade no desenvolvimento de tecnologias de IA transformadoras.

A carta "Um Direito de Avisar sobre Inteligência Artificial Avançada" levanta preocupações significativas sobre os potenciais riscos apresentados pelos sistemas de IA avançados, incluindo o aprofundamento das desigualdades existentes, manipulação e desinformação, e a perda de controle de sistemas de IA autônomos que podem resultar na extinção da humanidade.

A carta destaca que, embora as empresas de IA tenham reconhecido esses riscos, elas têm fortes incentivos financeiros para evitar uma supervisão eficaz. Os autores argumentam que as estruturas atuais de governança corporativa são insuficientes para abordar essas questões, e eles pedem que as empresas de IA se comprometam com princípios que permitiriam que os funcionários atuais e anteriores levantem preocupações relacionadas a riscos sem medo de retaliação.

A carta enfatiza a importância de facilitar a crítica aberta e permitir que os funcionários alertem o público, os reguladores e as organizações independentes sobre possíveis problemas com os sistemas de IA, protegendo adequadamente os segredos comerciais e a propriedade intelectual. Essa transparência e responsabilidade são cruciais à medida que o desenvolvimento de poderosos sistemas de IA, potencialmente capazes de impactar toda a humanidade, continua a avançar rapidamente.