Den föreslagna AI-policyn lyfter fram flera nyckelbekymmer gällande de potentiella riskerna med avancerade AI-system:

1. Existentiella och katastrofala risker: Policyn definierar en "stor säkerhetsrisk" som innefattar alla existentiella eller globalt katastrofala risker som skulle kunna skada alla på planeten, såsom AI-system som etablerar självreplikerande autonoma agenter eller permanent undkommer mänsklig kontroll.

2. Förmågebenchmarks vs. beräkningsbenchmarks: Policyn föreslår att man använder beräkningsbaserade benchmarks (t.ex. FLOPS) för att kategorisera AI-system i olika risknivåer. Förslaget erkänner dock att denna metod kanske inte återspeglar AI-systemens verkliga förmågor på ett korrekt sätt, eftersom effektivitetsförbättringar kan leda till mer kapabla modeller med mindre beräkningskraft.

3. Stoppa tidig träning: Policyn föreslår att AI-system av medelhög risk måste genomgå regelbundna prestandatester, och träningen måste stoppas om systemet uppvisar oväntat höga förmågor. Detta skulle kunna bromsa utvecklingen av avancerade AI-system.

4. Fastställa AI av extremt hög risk: Policyn kräver att man utvecklar standarder för att identifiera AI-system som skulle kunna bistå vid vapenutveckling, destabilisera den globala makten eller utgöra andra katastrofala risker. Att definiera dessa standarder inom en 12-månadersperiod kan vara en utmaning med tanke på AI:s snabba framsteg.

5. Övervakning av hårdvara: Policyn innehåller ett krav på att rapportera inköp, försäljning och användning av högpresterande hårdvara (t.ex. GPU:er) som används för AI-utveckling, vilket potentiellt kan leda till ökad statlig tillsyn och begränsningar av tillgången till sådan hårdvara.

6. Förutsägbarhet av skada: Policyn anger att utvecklare inte kan använda "överraskningen" av ett AI-systems opålitlighet som ett giltigt försvar, eftersom de borde ha vetat att gränsöverskridande AI-system utgör en bred uppsättning allvarliga risker, varav vissa kanske inte kan upptäckas i förväg.

7. Nödläkesmakter: Policyn ger presidenten och en administratör möjlighet att förklara undantagstillstånd och införa vittgående befogenheter, inklusive att förstöra AI-hårdvara, radera modellvikter och fysiskt beslagta AI-laboratorier, som svar på uppfattade stora säkerhetsrisker.

8. Skydd för visselblåsare: Policyn ger skydd för visselblåsare som rapporterar eller vägrar att delta i metoder som förbjuds av AI-lagen, även om deras övertygelser om överträdelserna i slutändan visar sig vara felaktiga.