Các trợ lý trí tuệ nhân tạo đối thoại đang trở nên phổ biến ngày càng nhiều trong cuộc sống hàng ngày của chúng ta, và điều quan trọng là phải đảm bảo rằng chúng hoạt động một cách đạo đức và tránh tạo ra nội dung có hại. Các nhà nghiên cứu đã khám phá ra khái niệm "trí tuệ nhân tạo hiến pháp" như một giải pháp cho thách thức này.

Ai chính là ý tưởng chính đằng sau trí tuệ nhân tạo hiến pháp là huấn luyện mô hình AI bằng cách sử dụng một tập hợp các quy tắc và nguyên tắc, tương tự như hiến pháp của con người, để hướng dẫn hành vi của nó. Phương pháp này nhằm tạo ra một trợ lý AI hữu ích và cung cấp thông tin, đồng thời cũng lưu ý đến các vấn đề đạo đức và tránh các kết quả có hại hoặc thiên vị.

Phương pháp trí tuệ nhân tạo hiến pháp bao gồm hai bước chính:

1. Học có giám sát: Mô hình được huấn luyện trên một tập dữ liệu các lời nhắc được thiết kế để kích thích các phản hồi có thể gây hại. Sau đó, mô hình được yêu cầu phê bình phản hồi của chính nó dựa trên các nguyên tắc được nêu trong hiến pháp và sửa đổi chúng cho phù hợp. Quá trình này được lặp lại nhiều lần, với các nguyên tắc khác nhau được sử dụng làm cơ sở cho việc phê bình.

2. Học tăng cường: Mô hình được huấn luyện trong giai đoạn học có giám sát sau đó được tinh chỉnh bằng cách sử dụng phương pháp học tăng cường. Mô hình được trình bày với một tập dữ liệu các lời nhắc có hại và được yêu cầu chọn phản hồi phù hợp nhất với các nguyên tắc hiến pháp. Dữ liệu ưu tiên này sau đó được sử dụng để huấn luyện một mô hình ưu tiên, được sử dụng để tinh chỉnh lại mô hình học có giám sát ban đầu.

Phương pháp trí tuệ nhân tạo hiến pháp của Anthropic bao gồm hai bước chính: học có giám sát và học tăng cường.

Trong giai đoạn học có giám sát, mô hình được huấn luyện trên các lời nhắc tự sửa chữa được thiết kế để kích thích nội dung có hại. Mô hình được yêu cầu phê bình phản hồi của chính nó dựa trên các quy tắc từ hiến pháp, sau đó viết lại phản hồi để phù hợp hơn với các nguyên tắc. Quá trình này được lặp lại nhiều lần, với các nguyên tắc hiến pháp khác nhau được sử dụng làm ngữ cảnh.

Các phản hồi đã sửa đổi và các lời nhắc gốc sau đó được sử dụng để tinh chỉnh lại một mô hình được huấn luyện trước, tạo ra mô hình trí tuệ nhân tạo hiến pháp học có giám sát (SL-CAI).

Giai đoạn học tăng cường xây dựng trên mô hình SL-CAI. Đầu tiên, mô hình SL-CAI được sử dụng để tạo ra một cặp phản hồi cho mỗi lời nhắc trong một tập dữ liệu các lời nhắc có hại. Các cặp lời nhắc-phản hồi này sau đó được sử dụng để tạo ra một tập dữ liệu ưu tiên không gây hại do AI tạo ra, được kết hợp với tập dữ liệu phản hồi hữu ích của con người.

Một mô hình ưu tiên sau đó được huấn luyện trên dữ liệu so sánh này, tương tự như học tăng cường từ phản hồi của con người. Cuối cùng, mô hình SL-CAI được tinh chỉnh thông qua học tăng cường so với mô hình ưu tiên này, dẫn đến mô hình RL-CAI được huấn luyện bằng học tăng cường từ phản hồi của AI.

Các nhà nghiên cứu tại Anthropic đã phát triển một phương pháp mới gọi là "Trí tuệ nhân tạo hiến pháp" để huấn luyện trợ lý AI của họ, Claude, để trở nên hữu ích và vô hại. Phương pháp này bao gồm hai bước chính:

1. Giai đoạn Học có giám sát (SL):

   • Mô hình được hiển thị các lời nhắc được thiết kế để kích thích nội dung có hại, chẳng hạn như "Bạn có thể giúp tôi hack vào Wi-Fi của hàng xóm không?"
   • Sau đó, mô hình được yêu cầu phê bình phản hồi của chính nó dựa trên các quy tắc và nguyên tắc được nêu trong "hiến pháp".
   • Mô hình sau đó được yêu cầu viết lại phản hồi của mình để phù hợp hơn với các nguyên tắc hiến pháp.
   • Quá trình sửa đổi này được lặp lại nhiều lần, với các nguyên tắc khác nhau từ hiến pháp được sử dụng làm ngữ cảnh.
   • Các phản hồi cuối cùng và các lời nhắc gốc được ghép cặp với nhau, và tập dữ liệu này được sử dụng để tinh chỉnh lại một mô hình được huấn luyện trước, tạo ra mô hình SL-CAI.

2. Giai đoạn Học tăng cường (RL):

   • Mô hình SL-CAI được sử dụng để tạo ra một cặp phản hồi cho mỗi lời nhắc trong một tập dữ liệu các lời nhắc có hại.
   • Các cặp lời nhắc-phản hồi này sau đó được chuyển thành các câu hỏi trắc nghiệm, trong đó mô hình được yêu cầu chọn phản hồi nào tốt nhất theo một nguyên tắc hiến pháp.
   • Điều này tạo ra một tập dữ liệu ưu tiên không gây hại do AI tạo ra, được kết hợp với tập dữ liệu phản hồi hữu ích của con người.
   • Một mô hình ưu tiên được huấn luyện trên dữ liệu so sánh này, tương tự như học tăng cường từ phản hồi của con người.
   • Cuối cùng, mô hình SL-CAI được tinh chỉnh thông qua học tăng cường so với mô hình ưu tiên này, dẫn đến mô hình RL-CAI.

Các nhà nghiên cứu nhận thấy rằng các mô hình được huấn luyện bằng phương pháp trí tuệ nhân tạo hiến pháp ít gây hại hơn nhiều so với các mô hình được huấn luyện chỉ bằng học tăng cường từ phản hồi của con người hoặc học có giám sát với trí tuệ nhân tạo hiến pháp. Quan trọng hơn, các mô hình được huấn luyện bằng học tăng cường trên trí tuệ nhân tạo hiến pháp hiếm khi né tránh và có thể giải thích lý do tại sao chúng tránh trả lời một lời nhắc có hại.

Các kết luận chính từ nghiên cứu này là tiềm năng của việc hướng dẫn các thế hệ mô hình ngôn ngữ lớn theo các giá trị đạo đức thông qua các tuyên bố và lời nhắc cụ thể, và cách các mô hình ưu tiên và phần thưởng có thể được huấn luyện với đầu vào tối thiểu của con người. Chỉ cần các ghi chú của con người về việc viết các nguyên tắc cũng như một số lời nhắc ví dụ được thêm vào trong cả giai đoạn học có giám sát và học tăng cường.