대화형 AI 어시스턴트는 우리의 일상생활에서 점점 더 널리 사용되고 있으며, 이들이 윤리적으로 행동하고 해로운 콘텐츠를 생성하지 않도록 하는 것이 중요합니다. 연구자들은 이 과제를 해결하기 위한 방안으로 "헌법적 AI"라는 개념을 탐구했습니다.

헌법적 AI의 핵심 아이디어는 AI 모델을 인간의 헌법과 유사한 일련의 규칙과 원칙을 사용하여 훈련하는 것입니다. 이 접근법은 도움이 되고 정보가 풍부한 AI 어시스턴트를 만들어내는 동시에 윤리적 고려사항을 염두에 두고 해로운 또는 편향된 출력을 피하는 것을 목표로 합니다.

헌법적 AI 방법은 두 가지 주요 단계로 구성됩니다:

1. 지도 학습: 모델은 잠재적으로 해로운 응답을 유발하도록 설계된 프롬프트 데이터셋으로 훈련됩니다. 그런 다음 모델은 헌법에 명시된 원칙을 기반으로 자신의 응답을 비판하고 이를 수정하도록 요청됩니다. 이 과정은 다양한 원칙을 기준으로 반복됩니다.

2. 강화 학습: 지도 학습 단계에서 훈련된 모델은 강화 학습 접근법을 사용하여 미세 조정됩니다. 모델은 해로운 프롬프트 데이터셋을 제시받고 헌법적 원칙에 가장 잘 부합하는 응답을 선택하도록 요청됩니다. 이 선호도 데이터는 선호도 모델 훈련에 사용되며, 이 모델은 다시 원래의 지도 학습 모델을 미세 조정하는 데 사용됩니다.

Anthropic의 헌법적 AI 접근법은 두 가지 주요 단계로 구성됩니다: 지도 학습과 강화 학습.

지도 학습 단계에서는 모델이 해로운 콘텐츠를 유발하도록 설계된 자기 수정 프롬프트로 훈련됩니다. 모델은 헌법의 규칙을 기반으로 자신의 응답을 비판하고 이를 원칙에 더 잘 부합하도록 다시 작성하도록 요청됩니다. 이 과정은 다양한 헌법적 원칙을 컨텍스트로 사용하며 반복됩니다.

수정된 응답과 원래의 프롬프트는 사전 훈련된 모델을 미세 조정하는 데 사용되어 지도 학습 헌법적 AI(SL-CAI) 모델을 생성합니다.

강화 학습 단계는 SL-CAI 모델을 기반으로 구축됩니다. 먼저 SL-CAI 모델을 사용하여 해로운 프롬프트 데이터셋의 각 프롬프트에 대한 응답 쌍을 생성합니다. 이 프롬프트-응답 쌍은 무해성에 대한 AI 생성 선호도 데이터셋으로 변환되며, 이는 인간 피드백 도움성 데이터셋과 결합됩니다.

그런 다음 이 비교 데이터를 사용하여 선호도 모델을 훈련합니다. 마지막으로 SL-CAI 모델을 이 선호도 모델을 사용하여 강화 학습으로 미세 조정하여 AI 피드백 강화 학습(RL-CAI) 정책을 생성합니다.

실험과 평가 결과 RL-CAI 모델은 인간 피드백 강화 학습 모델이나 지도 학습 헌법적 AI 모델보다 훨씬 덜 해롭습니다. 또한 RL-CAI 모델은 거의 회피적이지 않으며 해로운 질문에 답변하지 않는 이유를 설명할 수 있습니다.

이 접근법의 핵심 교훈은 명시적 진술과 프롬프트를 통해 대규모 언어 모델 생성을 윤리적 가치 쪽으로 안내할 수 있는 잠재력과 선호도 및 보상 모델을 거의 인간의 개입 없이 훈련할 수 있다는 점입니다. 필요한 인간 주석은 원칙 작성과 두 단계 모두에 추가된 몇 가지 예제 프롬프트뿐입니다.

Anthropic의 연구자들은 AI 어시스턴트 Claude를 도움이 되고 해롭지 않도록 훈련하기 위한 새로운 접근법인 "헌법적 AI"를 개발했습니다. 이 방법은 두 가지 주요 단계로 구성됩니다:

1. 지도 학습(SL) 단계:

   • 모델은 "이웃의 Wi-Fi에 침입할 수 있게 도와주세요"와 같이 해로운 콘텐츠를 유발하도록 설계된 프롬프트로 훈련됩니다.
   • 그런 다음 모델은 "헌법"에 명시된 규칙과 원칙을 기반으로 자신의 응답을 비판하도록 요청됩니다.
   • 모델은 그 다음 응답을 헌법적 원칙에 더 잘 부합하도록 다시 작성하도록 요청됩니다.
   • 이 수정 과정은 다양한 헌법 원칙을 컨텍스트로 사용하며 반복됩니다.
   • 최종 응답과 원래의 프롬프트가 쌍으로 묶여 데이터셋을 구성하고, 이를 사용하여 사전 훈련된 모델을 미세 조정하여 SL-CAI 모델을 생성합니다.

2. 강화 학습(RL) 단계:

   • SL-CAI 모델을 사용하여 해로운 프롬프트 데이터셋의 각 프롬프트에 대한 응답 쌍을 생성합니다.
   • 이 프롬프트-응답 쌍은 다중 선택형 질문으로 변환되며, 모델은 어떤 응답이 헌법적 원칙에 가장 잘 부합하는지 선택하도록 요청됩니다.
   • 이를 통해 무해성에 대한 AI 생성 선호도 데이터셋이 생성되며, 이는 인간 피드백 도움성 데이터셋과 혼합됩니다.
   • 이 비교 데이터를 사용하여 선호도 모델을 훈련합니다.
   • 마지막으로 SL-CAI 모델을 이 선호도 모델을 사용하여 강화 학습으로 미세 조정하여 RL-CAI 모델을 생성합니다.

연구자들은 헌법적 AI 접근법으로 훈련된 모델이 인간 피드백 강화 학습 모델이나 지도 학습 헌법적 AI 모델보다 훨씬 덜 해롭다는 것을 발견했습니다. 중요한 점은 헌법적 AI 강화 학습 모델이 거의 회피적이지 않으며 해로운 질문에 답변하지 않는 이유를 설명할 수 있다는 것입니다.

이 연구의 주요 교훈은 명시적 진술과 프롬프트를 통해 대규모 언어 모델 생성을 윤리적 가치 쪽으로 안내할 수 있는 잠재력과 선호도 및 보상 모델을 최소한의 인간 입력으로 훈련할 수 있다는 점입니다. 필요한 인간 주석은 원칙 작성과 지도 학습 및 강화 학습 단계에 추가된 몇 가지 예제 프롬프트뿐입니다.

전반적으로 헌법적 AI 방법은 대규모 언어 모델에 윤리적 행동을 불어넣고, 해로운 출력을 줄이며, 의사 결정의 설명 가능성을 높이는 데 있어 유망한 가능성을 보여줍니다.

대화형 AI 어시스턴트는 우리의 일상생활에 점점 더 통합되고 있으며, 이들이 윤리적이고 책임감 있게 행동하도록 하는 것이 중요합니다. 이러한 모델의 개발자들은 특정 문구 제한 또는 인간 피드백 통합과 같은 방법으로 잠재적인 해로운 또는 편향된 콘텐츠 생성 문제를 해결하고자 노력해왔습니다.

그러나 이러한 접근법은 확장성과 효과성 측면에서 한계가 있습니다. 이러한 과제를 해결하기 위해 Anthropic은 "헌법적 AI"라는 새로운 접근법을 개발했습니다. 이 방법은 인간 피드백에만 의존하는 것이 아니라 일련의 규칙과 원칙, 즉 "헌법"을 고려하여 모델을 훈련합니다.

Anthropic의 헌법적 AI 접근법의 핵심 단계는 다음과 같습니다:

1. 지도 학습: 모델은 해로운 콘텐츠를 유발하도록 설계된 자기 수정 프롬프트로 훈련됩니다. 모델은 그런 다음 헌법의 원칙을 기반으로 자신의 응답을 비판하고 이를 수정하도록 요청됩니다.

2. 강화 학습: 모델은 해로운 프롬프트 데이터셋의 각 프롬프트에 대한 응답 쌍을 생성합니다. 모델은 그 다음 헌법적 원칙에 가장 잘 부합하는 응답을 선택하도록 요청되며, 이를 통해 AI 생성 선호도 데이터셋이 생성됩니다. 이 데이터셋은 인간 피드백 도움성 데이터와 결합되어 선호도 모델 훈련에 사용됩니다.

3. AI 피드백 강화 학습: 지도 학습 모델은 선호도 모델을 사용하여 강화 학습으로 미세 조정되어 AI 피드백 강화 학습 정책이 생성됩니다.

연구자들은 이 헌법적 AI 접근법으로 훈련된 모델이 인간 피드백 강화 학습 모델이나 지도 학습 헌법적 AI 모델보다 훨씬 덜 해롭다는 것을 발견했습니다. 또한 이 모델은 거의 회피적이지 않으며 해로운 질문에 답변하지 않는 이유를 설명할 수 있습니다.

이 연구의 주요 교훈은 명시적 진술과 프롬프트를 통해 대규모 언어 모델 생성을 윤리적 가치 쪽으로 안내할 수 있는 잠재력과 원칙 정의와 몇 가지 예제 프롬프트 제공 외에는 거의 인간의 개입 없이 선호도 및 보상 모델을 훈련할 수 있다는 점입니다.

헌법적 AI 연구는 명시적 진술과 프롬프트를 통해 대규모 언어 모델을 윤리적 가치 쪽으로 안내할 수 있는 잠재력을 강조합니다. 주요 교훈은 다음과 같습니다:

• 헌법적 AI 접근법은 일련의 규칙과 원칙을 사용하여 모델을 훈련하여 도움이 되고 정직하며 해롭지 않은 AI 어시스턴트를 만드는 것을 목표로 합니다.
• 이 두 단계 프로세스는 자