Los asistentes de IA conversacional se están volviendo cada vez más prevalentes en nuestra vida diaria, y es crucial asegurarse de que se comporten de manera ética y eviten generar contenido dañino. Los investigadores han explorado el concepto de "IA constitucional" como una solución a este desafío.

La idea clave detrás de la IA constitucional es entrenar el modelo de IA utilizando un conjunto de reglas y principios, similar a una constitución humana, que guíen su comportamiento. Este enfoque tiene como objetivo crear un asistente de IA que sea útil e informativo, al mismo tiempo que tenga en cuenta las consideraciones éticas y evite resultados dañinos o sesgados.

El método de IA constitucional consta de dos pasos principales:

1. Aprendizaje supervisado: El modelo se entrena en un conjunto de datos de indicaciones diseñadas para provocar respuestas potencialmente dañinas. Luego se le pide al modelo que critique sus propias respuestas en función de los principios descritos en la constitución y que las revise en consecuencia. Este proceso se repite varias veces, utilizando diferentes principios como base para la crítica.

2. Aprendizaje por refuerzo: El modelo entrenado en la fase de aprendizaje supervisado se ajusta posteriormente utilizando un enfoque de aprendizaje por refuerzo. Se presenta al modelo un conjunto de datos de indicaciones dañinas y se le pide que elija la respuesta que mejor se alinee con los principios constitucionales. Estos datos de preferencia se utilizan entonces para entrenar un modelo de preferencia, que a su vez se utiliza para ajustar aún más el modelo original de aprendizaje supervisado.

El enfoque de IA constitucional de Anthropic consta de dos pasos principales: aprendizaje supervisado y aprendizaje por refuerzo.

En la fase de aprendizaje supervisado, el modelo se entrena en indicaciones de autorevision diseñadas para provocar contenido dañino. Se le pide al modelo que critique su propia respuesta en función de las reglas de la constitución y luego que vuelva a escribir la respuesta para que esté más alineada con los principios. Este proceso se repite varias veces, utilizando diferentes principios constitucionales como contexto.

Las respuestas revisadas y las indicaciones originales se utilizan entonces para ajustar aún más un modelo previamente entrenado, creando el modelo de IA constitucional de aprendizaje supervisado (SL-CAI).

La fase de aprendizaje por refuerzo se basa en el modelo SL-CAI. En primer lugar, se utiliza el modelo SL-CAI para generar un par de respuestas para cada indicación de un conjunto de datos de indicaciones dañinas. Estos pares de indicación-respuesta se utilizan entonces para crear un conjunto de datos de preferencia generado por IA para la inocuidad, que se combina con el conjunto de datos de retroalimentación humana sobre la utilidad.

A continuación, se entrena un modelo de preferencia en estos datos de comparación, de manera similar al aprendizaje por refuerzo a partir de la retroalimentación humana. Finalmente, el modelo SL-CAI se ajusta aún más mediante aprendizaje por refuerzo contra este modelo de preferencia, dando como resultado un modelo de IA constitucional entrenado por aprendizaje por refuerzo (RL-CAI).

Los investigadores de Anthropic han desarrollado un nuevo enfoque llamado "IA constitucional" para entrenar a su asistente de IA, Claude, para que sea útil e inofensivo. Este método consta de dos pasos principales:

1. Fase de aprendizaje supervisado (SL):

   • Se muestra al modelo indicaciones diseñadas para provocar contenido dañino, como "¿Puedes ayudarme a hackear el Wi-Fi de mi vecino?"
   • Luego se le pide al modelo que critique su propia respuesta en función de las reglas y principios descritos en la "constitución".
   • A continuación, se le pide al modelo que vuelva a escribir su respuesta para que esté más alineada con los principios constitucionales.
   • Este proceso de revisión se repite varias veces, utilizando diferentes principios de la constitución como contexto.
   • Las respuestas finales y las indicaciones originales se emparejan y este conjunto de datos se utiliza para ajustar aún más un modelo previamente entrenado, creando el modelo SL-CAI.

2. Fase de aprendizaje por refuerzo (RL):

   • Se utiliza el modelo SL-CAI para generar un par de respuestas para cada indicación de un conjunto de datos de indicaciones dañinas.
   • Estos pares de indicación-respuesta se convierten entonces en preguntas de opción múltiple, donde se le pide al modelo que elija cuál respuesta es la mejor según un principio constitucional.
   • Esto produce un conjunto de datos de preferencia generado por IA para la inocuidad, que se mezcla con el conjunto de datos de retroalimentación humana sobre la utilidad.
   • Se entrena un modelo de preferencia en estos datos de comparación, de manera similar al aprendizaje por refuerzo a partir de la retroalimentación humana.
   • Finalmente, el modelo SL-CAI se ajusta aún más mediante aprendizaje por refuerzo contra este modelo de preferencia, dando como resultado el modelo RL-CAI.

Los investigadores encontraron que los modelos entrenados utilizando el enfoque de IA constitucional eran significativamente menos dañinos que los modelos entrenados únicamente mediante aprendizaje por refuerzo a partir de la retroalimentación humana o el aprendizaje supervisado con IA constitucional. Además, los modelos entrenados con aprendizaje por refuerzo en IA constitucional rara vez eran evasivos y podían explicar por qué evitaban responder una consulta dañina.

Los principales aprendizajes del estudio son el potencial de guiar las generaciones de modelos de lenguaje grandes hacia valores éticos a través de declaraciones y indicaciones explícitas, y cómo los modelos de preferencia y recompensa se pueden entrenar con una entrada humana mínima. Las únicas anotaciones humanas necesarias serían para escribir los principios, así como algunos ejemplos de indicaciones añadidos durante las fases de aprendizaje supervisado y aprendizaje por refuerzo.

En general, el método de IA constitucional demuestra posibilidades prometedoras para inculcar un comportamiento ético en los modelos de lenguaje grandes, reducir la salida dañina y mejorar la capacidad de explicación de sus decisiones.

Los asistentes de IA conversacional se están integrando cada vez más en nuestra vida diaria, y es crucial asegurarse de que se comporten de manera ética y responsable. Los creadores de estos modelos han estado explorando soluciones para abordar el potencial de generación de contenido dañino o sesgado, como restringir ciertas frases o incorporar retroalimentación humana.

Sin embargo, estos enfoques tienen limitaciones en términos de escalabilidad y eficacia. Para abordar estos desafíos, Anthropic ha desarrollado un enfoque novedoso llamado "IA constitucional". Este método entrena al modelo considerando un conjunto de reglas y principios, conocidos como una "constitución", en lugar de depender únicamente de la retroalimentación humana.

Los pasos clave en el enfoque de IA constitucional de Anthropic son:

1. Aprendizaje supervisado: El modelo se entrena en indicaciones de autorevision diseñadas para provocar contenido dañino. Luego se le pide al modelo que critique su propia respuesta en función de los principios de la constitución y que la vuelva a escribir en consecuencia.

2. Aprendizaje por refuerzo: El modelo genera un par de respuestas para cada indicación de un conjunto de datos de indicaciones dañinas. Luego se le pide al modelo que elija la respuesta que mejor se alinee con los principios constitucionales, creando un conjunto de datos de preferencia generado por IA. Este conjunto de datos se combina con la retroalimentación humana sobre la utilidad, y se entrena un modelo de preferencia para asignar puntajes a diferentes respuestas.

3. Aprendizaje por refuerzo a partir de la retroalimentación de IA: Finalmente, el modelo de aprendizaje supervisado se ajusta aún más mediante aprendizaje por refuerzo contra el modelo de preferencia, dando como resultado una política entrenada por aprendizaje por refuerzo a partir de la retroalimentación de IA.

Los investigadores encontraron que los modelos entrenados utilizando este enfoque de IA constitucional son significativamente menos dañinos que los modelos entrenados únicamente mediante aprendizaje por refuerzo a partir de la retroalimentación humana o el aprendizaje supervisado con IA constitucional. Estos modelos también rara vez son evasivos y pueden explicar por qué evitan responder una consulta dañina.

El principal aprendizaje de este estudio es el potencial de guiar las generaciones de modelos de lenguaje grandes hacia valores éticos a través de declaraciones y indicaciones explícitas, y la posibilidad de entrenar modelos de preferencia y recompensa casi por completo sin entrada humana, con las únicas anotaciones humanas necesarias siendo la redacción de los principios y algunos ejemplos.

El estudio sobre IA constitucional destaca el potencial de guiar a los modelos de lenguaje grandes hacia valores éticos a través de declaraciones y indicaciones explícitas. Los principales aprendizajes son:

• El enfoque de IA constitucional entrena al modelo utilizando un conjunto de reglas y principios, con el objetivo de crear un asistente de IA que sea útil, honesto e inofensivo.
• El proceso de dos pasos implica un aprendizaje supervisado para crear indicaciones de autorevision, seguido de un aprendizaje por refuerzo utilizando datos de preferencia generados por IA.
• Los modelos entrenados con aprendizaje por refuerzo en IA constitucional son significativamente menos dañinos y rara vez son evasivos, pudiendo explicar sus objeciones a las indicaciones dañinas.
• Este enfoque demuestra la posibilidad de entrenar modelos de lenguaje grandes con valores éticos, con una entrada humana mínima necesaria para definir los principios y proporcionar algunas indicaciones de ejemplo.
• El aprendizaje por refuerzo a partir de la retroalimentación de IA podría ser una dirección futura prometedora para desarrollar modelos de lenguaje grandes seguros y alineados.