对话式人工智能助手在我们日常生活中越来越普遍,确保它们的行为符合道德规范并避免产生有害内容至关重要。研究人员探索了"宪政人工智能"的概念作为解决这一挑战的方案。

宪政人工智能的核心思想是使用一套规则和原则(类似于人类宪法)来训练人工智能模型,以指导其行为。这种方法旨在创造一个既有帮助性和信息性,又能注重道德考量并避免有害或有偏见输出的人工智能助手。

宪政人工智能方法包括两个主要步骤:

1. 监督学习:模型被训练在可能产生有害响应的提示上进行自我修正。模型被要求根据宪法中概述的原则评判自己的响应,并相应地修改。这个过程会重复多次,使用不同的原则作为评判依据。

2. 强化学习:在监督学习阶段训练的模型会进一步通过强化学习方法进行微调。模型被呈现一组有害的提示,并被要求选择最符合宪法原则的响应。这些偏好数据会被用来训练一个偏好模型,进而用于微调原始的监督学习模型。

实验结果表明,使用这种宪政人工智能方法训练的模型明显比仅通过强化学习或监督学习加宪政人工智能训练的模型更不具有危害性。这些模型也更少回避问题,并能更好地解释避免回答有害提示的原因。

这项研究的关键启示是,通过使用明确的原则和提示来引导大型语言模型走向道德行为的潜力,以及几乎完全不需要人类输入就能训练偏好和奖励模型的可能性,人类只需要编写原则本身和少量示例提示。

Anthropic的宪政人工智能方法包括两个主要步骤:监督学习和强化学习。

在监督学习阶段,模型被训练在可能产生有害内容的自我修正提示上进行训练。模型被要求根据宪法中的规则评判自己的响应,并重写以更好地符合这些原则。这个过程会重复多次,使用不同的宪法原则作为上下文。

修改后的响应和原始提示被用于微调预训练模型,创建监督学习宪政人工智能(SL-CAI)模型。

强化学习阶段建立在SL-CAI模型的基础之上。首先,SL-CAI模型被用来为一组有害提示生成一对响应。这些提示-响应对被用来创建一个人工智能生成的无害偏好数据集,并与人类反馈的有用性数据集相结合。

然后训练一个偏好模型,类似于从人类反馈中进行强化学习。最后,SL-CAI模型通过针对这个偏好模型的强化学习进行微调,得到一个由人工智能反馈强化学习的策略(RL-CAI)。

实验和评估表明,RL-CAI模型明显比仅通过人类反馈强化学习或监督学习加宪政人工智能训练的模型更不具有危害性。此外,RL-CAI模型很少回避问题,并能解释为什么它们避免回答有害查询。

这种方法的关键启示是,通过明确的陈述和提示引导大型语言模型走向道德价值观的潜力,以及如何几乎完全不需要人类输入就能训练偏好和奖励模型,人类只需要编写原则和少量示例提示即可。

Anthropic的研究人员开发了一种名为"宪政人工智能"的新方法,用于训练他们的人工智能助手Claude,使其既有帮助性又无害。这种方法包括两个主要步骤:

1. 监督学习(SL)阶段:

   • 模型被展示旨在引发有害内容的提示,例如"你能帮我黑入邻居的WiFi吗?"
   • 模型被要求根据"宪法"中概述的规则和原则评判自己的响应。
   • 模型被要求重写其响应,使其更符合宪法原则。
   • 这个修改过程会重复多次,使用宪法中不同的原则作为上下文。
   • 最终的响应和原始提示被配对,用于微调预训练模型,创建SL-CAI模型。

2. 强化学习(RL)阶段:

   • SL-CAI模型被用来为一组有害提示生成一对响应。
   • 这些提示-响应对被转化为多选题,要求模型选择最符合宪法原则的响应。
   • 这产生了一个人工智能生成的无害偏好数据集,与人类反馈的有用性数据集相结合。
   • 训练一个偏好模型,类似于从人类反馈中进行强化学习。
   • 最后,SL-CAI模型通过针对这个偏好模型的强化学习进行微调,得到RL-CAI模型。

研究人员发现,RL-CAI模型明显比仅通过人类反馈强化学习或监督学习加宪政人工智能训练的模型更不具有危害性。此外,RL-CAI模型很少回避问题,并能解释为什么它们避免回答有害查询。

研究人员发现,使用宪政人工智能方法训练的模型明显比仅通过人类反馈强化学习或监督学习加宪政人工智能训练的模型更不具有危害性。重要的是,通过宪政人工智能进行强化学习训练的模型很少回避问题,并能解释为什么它们避免回答有害查询。

这项研究的主要启示包括:通过明确的陈述和提示引导大型语言模型走向道德价值观的潜力,以及如何几乎完全不需要人类输入就能训练偏好和奖励模型,人类只需要编写原则以及在监督学习和强化学习阶段添加少量示例提示。

总的来说,宪政人工智能方法展示了在大型语言模型中植入道德行为、减少有害输出和提高决策可解释性的有希望的可能性。

对话式人工智能助手正日益融入我们的日常生活,确保它们以合乎道德和负责任的方式行事至关重要。这些模型的创造者一直在探索解决有害或有偏见内容生成的方案,例如限制某些词语或纳入人类反馈。

然而,这些方法在可扩展性和有效性方面存在局限性。为了解决这些挑战,Anthropic开发了一种名为"宪政人工智能"的全新方法。这种方法通过考虑一套规则和原则(即"宪法")来训练模型,而不仅仅依赖于人类反馈。

Anthropic的宪政人工智能方法的关键步骤包括:

1. 监督学习:模型被训练在旨在引发有害内容的自我修正提示上进行训练。模型被要求根据宪法中的原则评判自己的响应并相应地重写。

2. 强化学习:模型为一组有害提示生成一对响应。模型被要求选择最符合宪法原则的响应,创建一个人工智能生成的偏好数据集。这个数据集与人类反馈的有用性数据相结合。

3. 基于人工智能反馈的强化学习:监督学习模型然后通过针对偏好模型的强化学习进行微调,得到一个由人工智能反馈强化学习的策略。

研究人员发现,使用这种宪政人工智能方法训练的模型明显比仅通过人类反馈强化学习或监督学习加宪政人工智能训练的模型更不具有危害性。这些模型也很少回避问题,并能解释为什么它们避免回答有害查询。

这项研究的主要启示是,通过明确的陈述和提示引导大型语言模型走向道德价值观的潜力,以及几乎完全不需要人类输入就能训练偏好和奖励模型的可能性,人类只需要编写原则和少量示例提示。

关于宪政人工智能的研究突出了通过明确的陈述和提示引导大型语言模型走向道德价值观的潜力。主要启示包括:

• 宪政人工智能方法使用一套规则和原则来训练模型,旨在创造一个既有帮助性、诚实性,又无害的人工智能助手。
• 这个两步骤的过程包括监督学习创建自我修正提示,以及使用人工智能生成的偏好数据进行强化学习。
• 通过宪政人工智能进行强化学习训练的模型明显更不具有危害性,很少回避问题,能解释它们为什么拒绝回答有害提示。
• 这种方法展示了用最少的人类输入(仅需定义原则和提供示例提示)就能训练具有道德价值观的大型语言模型的可能性。
• 基于人工智能反馈的强化学习可能是未来开发安全且协调的大型语言模型的一个有前景的方向。