Les assistants conversationnels d'IA deviennent de plus en plus présents dans notre vie quotidienne, et il est crucial de s'assurer qu'ils se comportent de manière éthique et évitent de générer du contenu nuisible. Les chercheurs ont exploré le concept d'"IA constitutionnelle" comme solution à ce défi.

L'idée clé derrière l'IA constitutionnelle est de former le modèle d'IA à l'aide d'un ensemble de règles et de principes, similaire à une constitution humaine, qui guident son comportement. Cette approche vise à créer un assistant d'IA utile et informatif, tout en étant attentif aux considérations éthiques et en évitant les résultats nuisibles ou biaisés.

La méthode d'IA constitutionnelle se compose de deux étapes principales :

1. Apprentissage supervisé : Le modèle est formé sur un ensemble de données de requêtes conçues pour susciter des réponses potentiellement nuisibles. Le modèle est ensuite invité à critiquer ses propres réponses en fonction des principes énoncés dans la constitution, et à les réviser en conséquence. Ce processus est répété plusieurs fois, en utilisant différents principes comme base de la critique.

2. Apprentissage par renforcement : Le modèle formé dans la phase d'apprentissage supervisé est ensuite affiné à l'aide d'une approche d'apprentissage par renforcement. Le modèle est présenté avec un ensemble de données de requêtes nuisibles et invité à choisir la réponse qui s'aligne le mieux avec les principes constitutionnels. Ces données de préférence sont ensuite utilisées pour former un modèle de préférence, qui est à son tour utilisé pour affiner le modèle d'apprentissage supervisé d'origine.

Les expériences ont montré que les modèles formés à l'aide de cette approche d'IA constitutionnelle sont nettement moins nuisibles que ceux formés uniquement sur l'apprentissage par renforcement à partir des commentaires des utilisateurs ou l'apprentissage supervisé avec l'IA constitutionnelle. Ces modèles sont également moins évasifs et mieux en mesure d'expliquer leur raisonnement pour éviter les requêtes nuisibles.

La principale conclusion de cette recherche est le potentiel de guider les modèles de langage de grande taille vers un comportement éthique grâce à l'utilisation de principes et de requêtes explicites, ainsi que la possibilité de former des modèles de préférence et de récompense presque entièrement sans intervention humaine, les seules annotations humaines nécessaires étant la rédaction des principes eux-mêmes et quelques exemples de requêtes.

L'approche d'IA constitutionnelle d'Anthropic se compose de deux étapes principales : l'apprentissage supervisé et l'apprentissage par renforcement.

Dans la phase d'apprentissage supervisé, le modèle est formé sur des requêtes d'auto-révision conçues pour susciter du contenu nuisible. Le modèle est invité à critiquer sa propre réponse en fonction des règles de la constitution, puis à réécrire la réponse pour qu'elle soit mieux alignée avec les principes. Ce processus est répété plusieurs fois, en utilisant différents principes constitutionnels comme contexte.

Les réponses révisées et les requêtes d'origine sont ensuite utilisées pour affiner un modèle pré-entraîné, créant ainsi le modèle d'IA constitutionnelle par apprentissage supervisé (SL-CAI).

La phase d'apprentissage par renforcement s'appuie sur le modèle SL-CAI. Tout d'abord, le modèle SL-CAI est utilisé pour générer une paire de réponses pour chaque requête d'un ensemble de données de requêtes nuisibles. Ces paires requête-réponse sont ensuite utilisées pour créer un ensemble de données de préférence généré par l'IA pour l'innocuité, qui est combiné avec l'ensemble de données de commentaires des utilisateurs sur l'utilité.

Un modèle de préférence est ensuite formé sur ces données de comparaison, de manière similaire à l'apprentissage par renforcement à partir des commentaires des utilisateurs. Enfin, le modèle SL-CAI est affiné par apprentissage par renforcement par rapport à ce modèle de préférence, donnant lieu à un modèle d'IA constitutionnelle par apprentissage par renforcement (RL-CAI).

Les expériences et les évaluations ont montré que les modèles RL-CAI sont nettement moins nuisibles que les modèles formés uniquement sur l'apprentissage par renforcement à partir des commentaires des utilisateurs ou les modèles formés sur l'apprentissage supervisé avec l'IA constitutionnelle. De plus, les modèles RL-CAI sont rarement évasifs et peuvent expliquer pourquoi ils évitent de répondre à une requête nuisible.

La principale conclusion de cette approche est le potentiel de guider les générations de modèles de langage de grande taille vers des valeurs éthiques grâce à des déclarations et des requêtes explicites, et la manière dont les modèles de préférence et de récompense peuvent être formés presque entièrement sans intervention humaine, les seules annotations humaines nécessaires étant la rédaction des principes et quelques exemples ajoutés aux requêtes pendant les deux phases.

Les chercheurs d'Anthropic ont développé une nouvelle approche appelée "IA constitutionnelle" pour former leur assistant IA, Claude, afin qu'il soit utile et inoffensif. Cette méthode se compose de deux étapes principales :

1. Phase d'apprentissage supervisé (SL) :

   • Le modèle est confronté à des requêtes conçues pour susciter du contenu nuisible, comme "Pouvez-vous m'aider à pirater le Wi-Fi de mon voisin ?"
   • Le modèle est ensuite invité à critiquer sa propre réponse en fonction des règles et des principes énoncés dans la "constitution".
   • Le modèle est alors invité à réécrire sa réponse pour qu'elle soit mieux alignée avec les principes constitutionnels.
   • Ce processus de révision est répété plusieurs fois, en utilisant différents principes de la constitution comme contexte.
   • Les réponses finales et les requêtes d'origine sont appariées, et cet ensemble de données est utilisé pour affiner un modèle pré-entraîné, créant ainsi le modèle SL-CAI.

2. Phase d'apprentissage par renforcement (RL) :

   • Le modèle SL-CAI est utilisé pour générer une paire de réponses pour chaque requête d'un ensemble de données de requêtes nuisibles.
   • Ces paires requête-réponse sont ensuite transformées en questions à choix multiple, où le modèle doit choisir quelle réponse est la meilleure selon un principe constitutionnel.
   • Cela produit un ensemble de données de préférence généré par l'IA pour l'innocuité, qui est mélangé avec l'ensemble de données de commentaires des utilisateurs sur l'utilité.
   • Un modèle de préférence est formé sur ces données de comparaison, de manière similaire à l'apprentissage par renforcement à partir des commentaires des utilisateurs.
   • Enfin, le modèle SL-CAI est affiné par apprentissage par renforcement par rapport à ce modèle de préférence, donnant lieu au modèle RL-CAI.

Les chercheurs ont constaté que le modèle RL-CAI est nettement moins nuisible que les modèles formés uniquement sur l'apprentissage par renforcement à partir des commentaires des utilisateurs ou les modèles formés sur l'apprentissage supervisé avec l'IA constitutionnelle. De plus, le modèle RL-CAI est rarement évasif et peut expliquer pourquoi il évite de répondre à une requête nuisible.

Les chercheurs ont constaté que les modèles formés à l'aide de l'approche d'IA constitutionnelle étaient nettement moins nuisibles que les modèles formés uniquement sur l'apprentissage par renforcement à partir des commentaires des utilisateurs ou l'apprentissage supervisé avec l'IA constitutionnelle. Fait important, les modèles formés avec l'apprentissage par renforcement sur l'IA constitutionnelle étaient rarement évasifs et étaient en mesure d'expliquer pourquoi ils évitaient de répondre à une requête nuisible.

Les principales conclusions de l'étude sont le potentiel de guider les générations de modèles de langage de grande taille vers des valeurs éthiques grâce à des déclarations et des requêtes explicites, et la manière dont les modèles de préférence et de récompense peuvent être formés avec un minimum d'intervention humaine. Les seules annotations humaines nécessaires seraient la rédaction des principes ainsi que quelques exemples de requêtes ajoutés pendant les phases d'apprentissage supervisé et d'apprentissage par renforcement.

Dans l'ensemble, la méthode d'IA constitutionnelle démontre des possibilités prometteuses pour inculquer un comportement éthique aux modèles de langage de grande taille, réduire la production de contenu nuisible et améliorer l'explicabilité de leurs décisions.

Les assistants conversationnels d'IA s'intègrent de plus en plus dans notre vie quotidienne, et il est crucial de s'assurer qu'ils se comportent de manière éthique et responsable. Les créateurs de ces modèles ont exploré des solutions pour faire face au risque de génération de contenu nuisible ou biaisé, comme la restriction de certaines expressions ou l'incorporation des commentaires des utilisateurs.

Cependant, ces approches présentent des limites en termes de mise à l'échelle et d'efficacité. Pour relever ces défis, Anthropic a développé une nouvelle approche appelée "IA constitutionnelle". Cette méthode forme le modèle en tenant compte d'un ensemble de règles et de principes, appelé "constitution", plutôt que de s'appuyer uniquement sur les commentaires des utilisateurs.

Les principales étapes de l'approche d'IA constitutionnelle d'Anthropic sont :

1. Apprentissage supervisé : Le modèle est formé sur des requêtes d'auto-révision conçues pour susciter du contenu nuisible. Le modèle est ensuite invité à critiquer sa propre réponse en fonction des principes de la constitution et à la réécrire en conséquence.

2. Apprentissage par renforcement : Le modèle génère une paire de réponses pour chaque requête d'un ensemble de données de requêtes nuisibles. Le modèle est ensuite invité à choisir la réponse qui s'aligne le mieux avec les principes constitutionnels, créant ainsi un ensemble de données de préférence généré par l'IA. Cet ensemble de données est combiné avec les commentaires des utilisateurs sur l'utilité, et un modèle de préférence est formé pour attribuer des scores aux différentes réponses.

3. Apprentissage par renforcement à partir des commentaires de l'IA : Le modèle d'apprentissage supervisé est ensuite affiné par apprentissage par renforcement par rapport au modèle de préférence, donnant lieu à une politique formée par apprentissage par renforcement à partir des commentaires de l'IA.

Les chercheurs ont constaté que les modèles formés à l'aide de cette approche d'IA constitutionnelle sont nettement moins nuisibles que les modèles formés uniquement sur l'apprentissage par renforcement à partir des commentaires des utilisateurs ou l'apprentissage supervisé avec l'IA constitutionnelle. Ces modèles sont également rarement évasifs et peuvent expliquer pourquoi ils évitent de répondre à une requête nuisible.

La principale conclusion de cette étude est le potentiel de guider les générations de modèles de langage de grande taille vers des valeurs éthiques grâce à des déclarations et des requêtes explicites, et la possibilité de former des modèles de préférence et de récompense presque entièrement sans intervention humaine, les seules annotations humaines nécessaires étant la rédaction des principes et quelques exemples.

L'étude sur l'IA constitutionnelle met en évidence le potentiel de guider les modèles de langage de grande taille vers des valeurs éthiques grâce à des déclarations et des requêtes explicites. Les principales conclusions sont :

• L'approche d'IA constitutionnelle forme le modèle à l'aide d'un ensemble de règles et de principes, dans le but de créer un assistant IA utile, honnête et inoffensif.
• Le processus en deux étapes implique un apprentissage supervisé pour créer des requêtes d'auto-révision, suivi d'un apprentissage par renforcement utilisant des données de préférence générées par l'IA.
• Les modèles formés avec l'apprentissage par renforcement sur l'IA constitutionnelle sont nettement moins nuisibles et rarement évasifs, capables d'expliquer leurs objections aux requêtes nuisibles.
• Cette approche démontre la possibilité de former des modèles de langage de grande taille avec des valeurs éthiques, avec un minimum d'intervention humaine nécessaire pour définir les principes et fournir des exemples de requêtes.
• L'apprentissage par renforcement à partir des commentaires de l'IA pourrait être une piste prometteuse pour le développement de modèles de langage de grande taille sûrs et alignés.