会話型AIアシスタントは日常生活に急速に浸透しており、倫理的に適切に振る舞い、有害なコンテンツを生成しないことを確保することが重要です。研究者たちは、この課題に対する解決策として「憲法AI」の概念を探求してきました。

憲法AIの核となるアイデアは、人間の憲法のように、行動を指針づける一連のルールや原則に基づいてAIモデルを訓練することです。このアプローチは、倫理的な配慮を心がけ、有害または偏った出力を避けつつ、役立つ情報を提供するAIアシスタントを生み出すことを目指しています。

憲法AIの方法論には主に2つの段階があります:

1. 教師あり学習: モデルは、潜在的に有害な反応を引き出すように設計されたプロンプトのデータセットで訓練されます。その後、モデルは自身の反応を憲法に基づいて批評し、それに応じて修正するよう求められます。この過程は、批評の基準となる原則を変えながら繰り返し行われます。

2. 強化学習: 教師あり学習フェーズで訓練されたモデルは、さらに強化学習アプローチを用いて微調整されます。モデルは有害なプロンプトのデータセットに提示され、憲法の原則に最も合致した反応を選択するよう求められます。この選好データは、元のモデルを微調整するための強化学習モデルの訓練に使用されます。

実験の結果、この憲法AI アプローチで訓練されたモデルは、単純な強化学習やSL-CAIのみで訓練されたモデルに比べて、著しく有害性が低いことが示されました。また、これらのモデルは回避的ではなく、有害なプロンプトに答えないことの理由を説明することができます。

この研究の主な示唆は、明示的な原則やプロンプトを使ってLLMの倫理的な振る舞いを誘導する可能性、そして原則の記述とごく少数のプロンプト例の人手アノテーションのみで、ほぼ完全に人間の関与なしに選好モデルや報酬モデルを訓練できる可能性です。