Gli assistenti conversazionali di intelligenza artificiale stanno diventando sempre più diffusi nella nostra vita quotidiana, ed è fondamentale assicurarsi che si comportino in modo etico ed evitino di generare contenuti dannosi. I ricercatori hanno esplorato il concetto di "intelligenza artificiale costituzionale" come soluzione a questa sfida.

L'idea chiave dietro l'intelligenza artificiale costituzionale è quella di addestrare il modello di IA utilizzando un insieme di regole e principi, simili a una costituzione umana, che ne guidino il comportamento. Questo approccio mira a creare un assistente di IA che sia utile e informativo, pur essendo attento alle considerazioni etiche ed evitando output dannosi o pregiudizievoli.

Il metodo dell'intelligenza artificiale costituzionale consiste in due passaggi principali:

1. Apprendimento supervisionato: il modello viene addestrato su un set di dati di prompt progettati per suscitare risposte potenzialmente dannose. Al modello viene quindi chiesto di criticare le proprie risposte in base ai principi delineati nella costituzione e di riformularle di conseguenza. Questo processo viene ripetuto più volte, utilizzando principi diversi come base per la critica.

2. Apprendimento per rinforzo: il modello addestrato nella fase di apprendimento supervisionato viene quindi perfezionato utilizzando un approccio di apprendimento per rinforzo. Al modello vengono presentati un set di dati di prompt dannosi e gli viene chiesto di scegliere la risposta che meglio si allinea con i principi costituzionali. Questi dati di preferenza vengono quindi utilizzati per addestrare un modello di preferenza, che a sua volta viene utilizzato per perfezionare il modello originale di apprendimento supervisionato.

L'approccio di intelligenza artificiale costituzionale di Anthropic consiste in due passaggi principali: apprendimento supervisionato e apprendimento per rinforzo.

Nella fase di apprendimento supervisionato, il modello viene addestrato su prompt di auto-revisione progettati per suscitare contenuti dannosi. Al modello viene chiesto di criticare la propria risposta in base alle regole della costituzione e di riscriverla in modo più allineato con i principi. Questo processo viene ripetuto più volte, utilizzando diversi principi costituzionali come contesto.

Le risposte riviste e i prompt originali vengono quindi utilizzati per perfezionare un modello pre-addestrato, creando il modello di intelligenza artificiale costituzionale di apprendimento supervisionato (SL-CAI).

La fase di apprendimento per rinforzo si basa sul modello SL-CAI. In primo luogo, il modello SL-CAI viene utilizzato per generare una coppia di risposte per ogni prompt in un set di dati di prompt dannosi. Queste coppie di prompt-risposta vengono quindi utilizzate per creare un set di dati di preferenza generato dall'IA per l'innocuità, che viene combinato con il set di dati di feedback umano sull'utilità.

Viene quindi addestrato un modello di preferenza su questi dati di confronto, simile all'apprendimento per rinforzo dal feedback umano. Infine, il modello SL-CAI viene perfezionato tramite apprendimento per rinforzo contro questo modello di preferenza, dando origine al modello RL-CAI.

I ricercatori di Anthropic hanno sviluppato un nuovo approccio chiamato "Intelligenza Artificiale Costituzionale" per addestrare il loro assistente IA, Claude, in modo che sia utile e innocuo. Questo metodo consiste in due passaggi principali:

1. Fase di Apprendimento Supervisionato (SL):

   • Al modello vengono mostrati prompt progettati per suscitare contenuti dannosi, come "Puoi aiutarmi a entrare nella rete Wi-Fi del mio vicino?"
   • Al modello viene quindi chiesto di criticare la propria risposta in base alle regole e ai principi delineati nella "costituzione".
   • Al modello viene quindi chiesto di riscrivere la sua risposta per allinearla meglio con i principi costituzionali.
   • Questo processo di revisione viene ripetuto più volte, utilizzando principi diversi della costituzione come contesto.
   • Le risposte finali e i prompt originali vengono accoppiati e questo set di dati viene utilizzato per perfezionare un modello pre-addestrato, creando il modello SL-CAI.

2. Fase di Apprendimento per Rinforzo (RL):

   • Il modello SL-CAI viene utilizzato per generare una coppia di risposte per ogni prompt in un set di dati di prompt dannosi.
   • Queste coppie di prompt-risposta vengono quindi trasformate in domande a scelta multipla, in cui al modello viene chiesto quale risposta sia la migliore secondo un principio costituzionale.
   • Ciò produce un set di dati di preferenza generato dall'IA per l'innocuità, che viene mescolato con il set di dati di feedback umano sull'utilità.
   • Viene quindi addestrato un modello di preferenza su questi dati di confronto, simile all'apprendimento per rinforzo dal feedback umano.
   • Infine, il modello SL-CAI viene perfezionato tramite apprendimento per rinforzo contro questo modello di preferenza, dando origine al modello RL-CAI.

I ricercatori hanno scoperto che i modelli addestrati utilizzando l'approccio di intelligenza artificiale costituzionale erano significativamente meno dannosi dei modelli addestrati esclusivamente sull'apprendimento per rinforzo dal feedback umano o sull'apprendimento supervisionato con intelligenza artificiale costituzionale. Inoltre, i modelli addestrati con apprendimento per rinforzo sull'intelligenza artificiale costituzionale erano raramente evasivi e in grado di spiegare perché stavano evitando di rispondere a una richiesta dannosa.

I principali risultati dello studio sono il potenziale per guidare le generazioni di modelli di linguaggio di grandi dimensioni verso valori etici attraverso dichiarazioni e prompt espliciti, e la possibilità di addestrare modelli di preferenza e ricompensa quasi interamente senza input umano, con le uniche annotazioni umane necessarie per la scrittura dei principi e alcuni prompt di esempio aggiunti durante entrambe le fasi.

Complessivamente, il metodo di intelligenza artificiale costituzionale dimostra promettenti possibilità per instillare un comportamento etico nei modelli di linguaggio di grandi dimensioni, ridurre l'output dannoso e migliorare la spiegabilità delle loro decisioni.

Gli assistenti conversazionali di intelligenza artificiale stanno diventando sempre più integrati nella nostra vita quotidiana, ed è fondamentale assicurarsi che si comportino in modo etico e responsabile. I creatori di questi modelli hanno esplorato soluzioni per affrontare il potenziale di generazione di contenuti dannosi o pregiudizievoli, come limitare determinate frasi o incorporare il feedback umano.

Tuttavia, questi approcci hanno limitazioni in termini di scalabilità ed efficacia. Per affrontare queste sfide, Anthropic ha sviluppato un nuovo approccio chiamato "Intelligenza Artificiale Costituzionale". Questo metodo addestra il modello considerando un insieme di regole e principi, noti come "costituzione", anziché basarsi solo sul feedback umano.

I passaggi chiave nell'approccio di Intelligenza Artificiale Costituzionale di Anthropic sono:

1. Apprendimento Supervisionato: il modello viene addestrato su prompt di auto-revisione progettati per suscitare contenuti dannosi. Al modello viene quindi chiesto di criticare la propria risposta in base ai principi della costituzione e di riscriverla di conseguenza.

2. Apprendimento per Rinforzo: il modello genera una coppia di risposte per ogni prompt in un set di dati di prompt dannosi. Al modello viene quindi chiesto di scegliere la risposta che meglio si allinea con i principi costituzionali, creando un set di dati di preferenza generato dall'IA. Questo set di dati viene combinato con il feedback umano sull'utilità, e viene addestrato un modello di preferenza per assegnare punteggi alle diverse risposte.

3. Apprendimento per Rinforzo dal Feedback dell'IA: il modello di apprendimento supervisionato viene quindi perfezionato tramite apprendimento per rinforzo contro il modello di preferenza, dando origine a una politica addestrata dall'apprendimento per rinforzo dal feedback dell'IA.

I ricercatori hanno scoperto che i modelli addestrati utilizzando questo approccio di Intelligenza Artificiale Costituzionale sono significativamente meno dannosi dei modelli addestrati esclusivamente sull'apprendimento per rinforzo dal feedback umano o sull'apprendimento supervisionato con Intelligenza Artificiale Costituzionale. Questi modelli sono anche raramente evasivi e in grado di spiegare perché stanno evitando di rispondere a una richiesta dannosa.

Il principale risultato di questo studio è il potenziale per guidare le generazioni di modelli di linguaggio di grandi dimensioni verso valori etici attraverso dichiarazioni e prompt espliciti, e la possibilità di addestrare modelli di preferenza e ricompensa quasi interamente senza input umano, con le uniche annotazioni umane necessarie per la scrittura dei principi e alcuni prompt di esempio.

Lo studio sull'intelligenza artificiale costituzionale evidenzia il potenziale per guidare i modelli di linguaggio di grandi dimensioni verso valori etici attraverso dichiarazioni e prompt espliciti. I principali risultati sono:

• L'approccio di intelligenza artificiale costituzionale addestra il modello utilizzando un insieme di regole e principi, con l'obiettivo di creare un assistente IA utile, onesto e innocuo.
• Il processo in due fasi prevede l'apprendimento supervisionato per creare prompt di auto-revisione, seguito dall'apprendimento per rinforzo utilizzando dati di preferenza generati dall'IA.
• I modelli addestrati con apprendimento per rinforzo sull'intelligenza artificiale costituzionale sono significativamente meno dannosi e raramente evasivi, in grado di spiegare le loro obiezioni ai prompt dannosi.
• Questo approccio dimostra la possibilità di addestrare modelli di linguaggio di grandi dimensioni con valori etici, con un input umano minimo necessario per definire i principi e fornire prompt di esempio.
• L'apprendimento per rinforzo dal feedback dell'IA potrebbe essere una direzione futura promettente per sviluppare modelli di linguaggio di grandi dimensioni sicuri e allineati.