Brevet lyfter fram flera allvarliga risker som avancerad AI-teknik innebär:

• Ytterligare cementering av befintliga ojämlikheter
• Manipulation och desinformation
• Förlust av kontroll över autonoma AI-system, vilket potentiellt kan leda till människoutrotning
• Illvilliga aktörer får obegränsad tillgång till kraftfulla AI-modeller och orsakar betydande skada

Brevet anger att dessa risker har erkänts av AI-företag, regeringar och andra AI-experter. Emellertid har AI-företag starka ekonomiska incitament att undvika effektiv tillsyn, och de nuvarande bolagsstyrningsstrukturerna är otillräckliga för att hantera dessa farhågor.

Brevet uppmanar AI-företag att förbinda sig till principer som skulle tillåta nuvarande och tidigare anställda att lyfta fram riskrelaterade farhågor utan rädsla för repressalier eller förlust av intjänade ekonomiska förmåner. De begär också en verifierbar anonym process för att lyfta dessa farhågor till företagets styrelse, tillsynsmyndigheter och oberoende organisationer.

Brevet lyfter fram de allvarliga risker som avancerade AI-teknologier innebär, från ytterligare cementering av befintliga ojämlikheter till den potentiella förlusten av kontroll över autonoma AI-system som skulle kunna leda till människoutrotning. Författarna erkänner att även om AI-företag och regeringar har identifierat dessa risker, finns det starka ekonomiska incitament för AI-företag att undvika effektiv tillsyn.

Författarna hävdar att de nuvarande bolagsstyrningsstrukturerna är otillräckliga för att hantera dessa farhågor, eftersom AI-företag innehar betydande icke-offentlig information om sina systems kapacitet och begränsningar, liksom om adekvansen i deras skyddsåtgärder och risknivåer. De har dock endast svaga skyldigheter att dela denna information med regeringar och inga skyldigheter gentemot det civila samhället.

Brevet uppmanar AI-företag att förbinda sig till principer som skulle möjliggöra större transparens och ansvarsskyldighet, inklusive:

1. Att inte ingå i eller verkställa några avtal som förbjuder nedsättande uttalanden eller kritik av företaget för riskrelaterade farhågor, eller att vedergälla sådan kritik genom att hindra några intjänade ekonomiska förmåner.

2. Att underlätta en verifierbart anonym process för nuvarande och tidigare anställda att lyfta riskrelaterade farhågor till företagets styrelse, tillsynsmyndigheter och lämpliga oberoende organisationer.

3. Att stödja en kultur av öppen kritik och tillåta nuvarande och tidigare anställda att lyfta riskrelaterade farhågor om företagets teknologier för allmänheten, företagets styrelse, tillsynsmyndigheter eller lämpliga oberoende organisationer, samtidigt som affärshemligheter och immateriella rättigheter skyddas.

Brevet lyfter fram de oroande frågorna kring bolagsstyrningsstrukturerna hos ledande AI-företag. Det säger att även om dessa företag innehar betydande icke-offentlig information om sina AI-systems kapacitet, begränsningar och risker, har de för närvarande endast svaga skyldigheter att dela denna information med regeringar och allmänheten.

Brevet hävdar att AI-företag har starka ekonomiska incitament att undvika effektiv tillsyn, och att de nuvarande bolagsstyrningsstrukturerna är otillräckliga för att hantera detta. Det hänvisar till exemplet OpenAI, där styrelsens unika struktur och oberoende tillät den att fatta beslut utan att konsultera intressenter, vilket ledde till den plötsliga avlägsnandet av VD Sam Altman. Denna incident understryker konsekvenserna av en styrningsstruktur som inte lyckas balansera olika organisatoriska mål och intressenters intressen.

I kontrast till detta nämner brevet fallet Anthropic, som har utvecklat en styrningsmodell utformad för att mer effektivt stödja både sin mission och sina finansiella mål. Denna struktur syftar till att förhindra de konflikter som sågs vid OpenAI genom att införa kontroller, balanser och tillgodose perspektiven från olika intressenter.

Brevet belyser det kritiska behovet av ökad transparens och anställdaskydd i utvecklingen av avancerade AI-system. Viktiga punkter:

• AI-företag innehar betydande icke-offentlig information om sina systems kapacitet, begränsningar och risker, men har svaga skyldigheter att dela denna med regeringar och allmänheten.

• De nuvarande bolagsstyrningsstrukturerna är otillräckliga för att på ett adekvat sätt hantera dessa risker, eftersom AI-företag har starka ekonomiska incitament att undvika effektiv tillsyn.

• Omfattande sekretessavtal förhindrar nuvarande och tidigare anställda från att uttrycka sina farhågor, eftersom de riskerar att förlora betydande aktiebaserad ersättning om de talar ut.

• Brevet uppmanar AI-företag att förbinda sig till principer som skyddar anställdas förmåga att lyfta riskrelaterad kritik utan repressalier, och att underlätta anonym rapportering av farhågor till företagets styrelse, tillsynsmyndigheter och oberoende experter.

• Transparenta och ansvarsskyldiga processer är avgörande för att säkerställa den ansvarsfulla utvecklingen av transformerande AI-teknologier som skulle kunna utgöra existentiella risker för mänskligheten. Att ge anställda möjlighet att öppet diskutera dessa frågor är ett avgörande steg.

Brevet från nuvarande och tidigare anställda vid framkanten av AI-företag uppmanar avancerade AI-företag att förbinda sig till flera nyckelprinciper:

1. Inga avtal om nedsättande uttalanden: Företagen kommer inte att ingå i eller verkställa några avtal som förbjuder nedsättande uttalanden eller kritik av företaget för riskrelaterade farhågor.

2. Inga repressalier: Företagen kommer inte att vedergälla anställda för att de lyfter riskrelaterad kritik genom att hindra några intjänade ekonomiska förmåner.

3. Anonym rapporteringsprocess: Företagen kommer att underlätta en verifierbart anonym process för nuvarande och tidigare anställda att lyfta riskrelaterade farhågor till företagets styrelse, tillsynsmyndigheter och lämpliga oberoende organisationer.

4. Kultur av öppen kritik: Företagen kommer att stödja en kultur av öppen kritik och tillåta nuvarande och tidigare anställda att lyfta riskrelaterade farhågor om deras teknologier för allmänheten, företagets styrelse, tillsynsmyndigheter eller lämpliga oberoende organisationer, så länge affärshemligheter och immateriella rättigheter skyddas.

Brevet hävdar att dessa principer är nödvändiga eftersom AI-företag för närvarande har starka ekonomiska incitament att undvika effektiv tillsyn, och de befintliga bolagsstyrningsstrukturerna är otillräckliga för att hantera de allvarliga risker som avancerade AI-system innebär. Genom att förbinda sig till dessa etiska principer kan AI-företag bidra till att säkerställa transparens och ansvarsskyldighet kring utvecklingen av transformerande AI-teknologier.

Brevet "A Right to Warn about Advanced Artificial Intelligence" väcker betydande farhågor om de potentiella risker som avancerade AI-system innebär, inklusive cementering av befintliga ojämlikheter, manipulation och desinformation, samt förlusten av kontroll över autonoma AI-system som potentiellt skulle kunna leda till människoutrotning.

Brevet belyser att även om AI-företag har erkänt dessa risker, har de starka ekonomiska incitament att undvika effektiv tillsyn. Författarna hävdar att de nuvarande bolagsstyrningsstrukturerna är otillräckliga för att hantera dessa frågor, och de uppmanar AI-företag att förbinda sig till principer som skulle tillåta nuvarande och tidigare anställda att lyfta riskrelaterade farhågor utan rädsla för repressalier.

Brevet betonar vikten av att underlätta öppen kritik och möjliggöra för anställda att varna allmänheten, tillsynsmyndigheter och oberoende organisationer om potentiella problem med AI-system, samtidigt som affärshemligheter och immateriella rättigheter skyddas på lämpligt sätt. Denna transparens och ansvarsskyldighet är avgörande i takt med att utvecklingen av kraftfulla AI-system, som potentiellt kan påverka hela mänskligheten, fortsätter att gå framåt i snabb takt.