A política de IA proposta destaca várias preocupações-chave em relação aos possíveis riscos dos sistemas de IA avançados:

1. Riscos Existenciais e Catastróficos: A política define um "risco de segurança importante" como incluindo quaisquer riscos existenciais ou catastróficos globais que possam prejudicar a todos no planeta, como sistemas de IA estabelecendo agentes autônomos auto-replicantes ou escapando permanentemente do controle humano.

2. Benchmarks de Capacidade vs. Benchmarks de Computação: A política sugere o uso de benchmarks baseados em computação (por exemplo, FLOPS) para categorizar os sistemas de IA em níveis de preocupação. No entanto, a proposta reconhece que essa abordagem pode não refletir com precisão as verdadeiras capacidades dos sistemas de IA, pois melhorias na eficiência podem levar a modelos mais capazes com menos computação.

3. Interromper o Treinamento Inicial: A política propõe que os sistemas de IA de preocupação média devem passar por testes de desempenho regulares, e o treinamento deve ser interrompido se o sistema exibir capacidades inesperadamente altas. Isso poderia atrasar o desenvolvimento de sistemas de IA avançados.

4. Determinar IA de Extrema Preocupação: A política exige o desenvolvimento de padrões para identificar sistemas de IA que possam auxiliar no desenvolvimento de armas, desestabilizar o poder global ou representar outros riscos catastróficos. Definir esses padrões em um prazo de 12 meses pode ser um desafio, dada a rápida evolução da IA.

5. Monitoramento de Hardware: A política inclui um requisito de relatar a compra, venda e uso de hardware de alto desempenho (por exemplo, GPUs) usado para o desenvolvimento de IA, podendo levar a uma maior supervisão governamental e restrições ao acesso a esse hardware.

6. Previsibilidade do Dano: A política afirma que os desenvolvedores não podem usar a "surpresa" da falta de confiabilidade de um sistema de IA como uma defesa válida, pois eles deveriam saber que os sistemas de IA de fronteira apresentam uma ampla variedade de riscos graves, alguns dos quais podem não ser detectáveis antecipadamente.

7. Poderes de Emergência: A política concede ao presidente e a um administrador a capacidade de declarar estado de emergência e impor amplos poderes, incluindo a destruição de hardware de IA, a exclusão de pesos de modelos e a apreensão física de laboratórios de IA, em resposta a riscos de segurança importantes percebidos.

8. Proteção a Denunciantes: A política fornece proteção aos denunciantes que relatarem ou se recusarem a participar de práticas proibidas pela Lei de IA, mesmo que suas crenças sobre as violações estejam incorretas.

Em geral, a política proposta reflete as crescentes preocupações sobre os possíveis riscos dos sistemas de IA avançados e o desejo de estabelecer um arcabouço regulatório para mitigar esses riscos. No entanto, a política também levanta questões sobre a viabilidade e as possíveis consequências não intencionais de uma abordagem tão abrangente e abrangente para a governança da IA.