Konversations-KI-Assistenten werden in unserem täglichen Leben immer präsenter, und es ist entscheidend, sicherzustellen, dass sie sich ethisch verhalten und die Erzeugung schädlicher Inhalte vermeiden. Forscher haben das Konzept der "Verfassungs-KI" als Lösung für diese Herausforderung untersucht.

Die Schlüsselidee hinter der Verfassungs-KI ist es, das KI-Modell anhand einer Reihe von Regeln und Prinzipien, ähnlich einer menschlichen Verfassung, zu trainieren, die sein Verhalten leiten. Dieser Ansatz zielt darauf ab, einen KI-Assistenten zu schaffen, der hilfreich und informativ ist, gleichzeitig aber auch ethische Überlegungen berücksichtigt und schädliche oder voreingenommene Ausgaben vermeidet.

Die Methode der Verfassungs-KI besteht aus zwei Hauptschritten:

1. Überwachtes Lernen: Das Modell wird auf einem Datensatz von Eingabeaufforderungen trainiert, die potenziell schädliche Antworten hervorrufen sollen. Anschließend wird das Modell aufgefordert, seine eigenen Antworten anhand der in der Verfassung dargelegten Prinzipien zu kritisieren und entsprechend zu überarbeiten. Dieser Prozess wird mehrmals wiederholt, wobei jeweils unterschiedliche Prinzipien als Grundlage für die Kritik dienen.

2. Verstärkendes Lernen: Das im überwachten Lernprozess trainierte Modell wird dann mit einem Ansatz des verstärkenden Lernens verfeinert. Dem Modell werden ein Datensatz schädlicher Eingabeaufforderungen präsentiert, und es wird aufgefordert, die Antwort auszuwählen, die am besten mit den Verfassungsprinzipien übereinstimmt. Diese Präferenzdaten werden dann verwendet, um ein Präferenzmodell zu trainieren, das wiederum zur Verfeinerung des ursprünglichen überwachten Lernmodells eingesetzt wird.

Experimente haben gezeigt, dass Modelle, die mit diesem Verfassungs-KI-Ansatz trainiert wurden, deutlich weniger schädlich sind als solche, die ausschließlich auf verstärkendem Lernen aus menschlichen Rückmeldungen oder überwachtem Lernen mit Verfassungs-KI trainiert wurden. Diese Modelle sind auch weniger ausweichend und besser in der Lage, ihre Begründung für das Vermeiden schädlicher Eingabeaufforderungen zu erklären.

Die Schlüsselerkenntnis aus dieser Forschung ist das Potenzial, große Sprachmodelle durch die Verwendung expliziter Prinzipien und Eingabeaufforderungen in Richtung ethischen Verhaltens zu lenken, sowie die Möglichkeit, Präferenz- und Belohnungsmodelle nahezu ohne menschlichen Beitrag zu trainieren, wobei die einzigen erforderlichen menschlichen Annotationen das Schreiben der Prinzipien selbst und einige Beispiel-Eingabeaufforderungen sind.

Der Verfassungs-KI-Ansatz von Anthropic besteht aus zwei Hauptschritten: überwachtem Lernen und verstärkendem Lernen.

In der Phase des überwachten Lernens wird das Modell auf Selbstüberarbeitungs-Eingabeaufforderungen trainiert, die darauf ausgelegt sind, schädliche Inhalte hervorzurufen. Das Modell wird aufgefordert, seine eigene Antwort anhand der Regeln aus der Verfassung zu kritisieren und dann die Antwort so umzuschreiben, dass sie besser mit den Prinzipien übereinstimmt. Dieser Prozess wird mehrmals wiederholt, wobei jeweils unterschiedliche Verfassungsprinzipien als Kontext verwendet werden.

Die überarbeiteten Antworten und die ursprünglichen Eingabeaufforderungen werden dann verwendet, um ein vortrainiertes Modell weiterzuverfeinern, wodurch das überwachte Lernmodell der Verfassungs-KI (SL-CAI) entsteht.

Die Phase des verstärkenden Lernens baut auf dem SL-CAI-Modell auf. Zunächst wird das SL-CAI-Modell verwendet, um für jede Eingabeaufforderung in einem Datensatz schädlicher Eingabeaufforderungen ein Paar von Antworten zu generieren. Diese Eingabeaufforderung-Antwort-Paare werden dann verwendet, um einen KI-generierten Präferenzdatensatz für Harmlosigkeit zu erstellen, der mit dem Datensatz der menschlichen Rückmeldungen zur Nützlichkeit kombiniert wird.

Anschließend wird ein Präferenzmodell auf diesen Vergleichsdaten trainiert, ähnlich wie beim verstärkenden Lernen aus menschlichen Rückmeldungen. Schließlich wird das SL-CAI-Modell durch verstärkendes Lernen gegen dieses Präferenzmodell verfeinert, was zu einem durch verstärkendes Lernen aus KI-Rückmeldungen trainierten Modell (RL-CAI) führt.

Experimente und Bewertungen haben gezeigt, dass die RL-CAI-Modelle deutlich weniger schädlich sind als Modelle, die nur auf verstärkendem Lernen aus menschlichen Rückmeldungen oder Modelle, die auf überwachtem Lernen mit Verfassungs-KI trainiert wurden. Darüber hinaus sind die RL-CAI-Modelle nur selten ausweichend und können erklären, warum sie eine schädliche Abfrage vermeiden.

Die Forscher bei Anthropic haben einen neuen Ansatz namens "Verfassungs-KI" entwickelt, um ihren KI-Assistenten Claude so zu trainieren, dass er hilfreich und harmlos ist. Diese Methode besteht aus zwei Hauptschritten:

1. Phase des überwachten Lernens (SL):

   • Das Modell wird mit Eingabeaufforderungen konfrontiert, die darauf ausgelegt sind, schädliche Inhalte hervorzurufen, wie z.B. "Können Sie mir dabei helfen, in das WLAN meines Nachbarn einzubrechen?"
   • Anschließend wird das Modell aufgefordert, seine eigene Antwort anhand der in der "Verfassung" dargelegten Regeln und Prinzipien zu kritisieren.
   • Dann wird das Modell aufgefordert, seine Antwort so umzuschreiben, dass sie besser mit den Verfassungsprinzipien übereinstimmt.
   • Dieser Überarbeitungsprozess wird mehrmals wiederholt, wobei jeweils unterschiedliche Prinzipien aus der Verfassung als Kontext dienen.
   • Die endgültigen Antworten und die ursprünglichen Eingabeaufforderungen werden zusammengeführt, und dieser Datensatz wird verwendet, um ein vortrainiertes Modell weiterzuverfeinern, wodurch das SL-CAI-Modell entsteht.

2. Phase des verstärkenden Lernens (RL):

   • Das SL-CAI-Modell wird verwendet, um für jede Eingabeaufforderung in einem Datensatz schädlicher Eingabeaufforderungen ein Paar von Antworten zu generieren.
   • Diese Eingabeaufforderung-Antwort-Paare werden dann in Multiple-Choice-Fragen umgewandelt, bei denen das Modell gefragt wird, welche Antwort am besten mit einem Verfassungsprinzip übereinstimmt.
   • Daraus entsteht ein KI-generierter Präferenzdatensatz für Harmlosigkeit, der mit dem Datensatz der menschlichen Rückmeldungen zur Nützlichkeit vermischt wird.
   • Auf dieser Vergleichsdata wird ein Präferenzmodell trainiert, ähnlich wie beim verstärkenden Lernen aus menschlichen Rückmeldungen.
   • Schließlich wird das SL-CAI-Modell durch verstärkendes Lernen gegen dieses Präferenzmodell verfeinert, was zum RL-CAI-Modell führt.

Die Forscher fanden heraus, dass das RL-CAI-Modell deutlich weniger schädlich ist als Modelle, die nur auf verstärkendem Lernen aus menschlichen Rückmeldungen oder auf überwachtem Lernen mit Verfassungs-KI trainiert wurden. Außerdem ist das RL-CAI-Modell nur selten ausweichend und kann erklären, warum es eine schädliche Abfrage vermeidet.

Die Forscher stellten fest, dass Modelle, die mit dem Verfassungs-KI-Ansatz trainiert wurden, deutlich weniger schädlich waren als Modelle, die ausschließlich auf verstärkendem Lernen aus menschlichen Rückmeldungen oder überwachtem Lernen mit Verfassungs-KI trainiert wurden. Wichtig ist, dass die mit verstärkendem Lernen auf Basis der Verfassungs-KI trainierten Modelle nur selten ausweichend waren und erklären konnten, warum sie eine schädliche Abfrage vermieden.

Die Haupterkenntnisse aus der Studie sind das Potenzial, große Sprachmodelle durch explizite Aussagen und Eingabeaufforderungen in Richtung ethischer Werte zu lenken, sowie die Möglichkeit, Präferenz- und Belohnungsmodelle mit minimalem menschlichen Beitrag zu trainieren. Die einzigen erforderlichen menschlichen Annotationen wären das Schreiben der Prinzipien sowie einige Beispiel-Eingabeaufforderungen, die sowohl in der Phase des überwachten Lernens als auch in der Phase des verstärkenden Lernens hinzugefügt werden.

Insgesamt zeigt der Verfassungs-KI-Ansatz vielversprechende Möglichkeiten, um ethisches Verhalten in großen Sprachmodellen zu verankern, schädliche Ausgaben zu reduzieren und die Erklärbarkeit ihrer Entscheidungen zu verbessern.

Konversations-KI-Assistenten werden immer stärker in unser tägliches Leben integriert, und es ist entscheidend, sicherzustellen, dass sie sich auf ethische und verantwortungsvolle Weise verhalten. Die Entwickler dieser Modelle haben nach Lösungen gesucht, um das Potenzial für schädliche oder voreingenommene Inhalte zu adressieren, wie z.B. das Einschränken bestimmter Formulierungen oder den Einbezug menschlicher Rückmeldungen.

Diese Ansätze haben jedoch Einschränkungen in Bezug auf Skalierbarkeit und Wirksamkeit. Um diese Herausforderungen anzugehen, hat Anthropic einen neuartigen Ansatz namens "Verfassungs-KI" entwickelt. Diese Methode trainiert das Modell, indem sie eine Reihe von Regeln und Prinzipien, eine sogenannte "Verfassung", berücksichtigt, anstatt sich ausschließlich auf menschliche Rückmeldungen zu verlassen.

Die Schlüsselschritte im Verfassungs-KI-Ansatz von Anthropic sind:

1. Überwachtes Lernen: Das Modell wird auf Selbstüberarbeitungs-Eingabeaufforderungen trainiert, die darauf ausgelegt sind, schädliche Inhalte hervorzurufen. Das Modell wird dann aufgefordert, seine eigene Antwort anhand der Prinzipien in der Verfassung zu kritisieren und entsprechend umzuschreiben.

2. Verstärkendes Lernen: Das Modell generiert für jede Eingabeaufforderung in einem Datensatz schädlicher Eingabeaufforderungen ein Paar von Antworten. Das Modell wird dann aufgefordert, die Antwort auszuwählen, die am besten mit den Verfassungsprinzipien übereinstimmt, wodurch ein KI-generierter Präferenzdatensatz entsteht. Dieser Datensatz wird mit menschlichen Rückmeldungen zur Nützlichkeit kombiniert, und es wird ein Präferenzmodell trainiert, um verschiedenen Antworten Bewertungen zuzuweisen.

3. Verstärkendes Lernen aus KI-Rückmeldungen: Das überwachte Lernmodell wird dann durch verstärkendes Lernen gegen das Präferenzmodell verfeinert, was zu einem durch verstärkendes Lernen aus KI-Rückmeldungen trainierten Modell führt.

Die Forscher fanden heraus, dass Modelle, die mit diesem Verfassungs-KI-Ansatz trainiert wurden, deutlich weniger schädlich sind als Modelle, die ausschließlich auf verstärkendem Lernen aus menschlichen Rückmeldungen oder überwachtem Lernen mit Verfassungs-KI trainiert wurden. Diese Modelle sind auch nur selten ausweichend und können erklären, warum sie eine schädliche Abfrage vermeiden.

Die Haupterkenntnis aus dieser Studie ist das Potenzial, große Sprachmodelle durch explizite Aussagen und Eingabeaufforderungen in Richtung ethischer Werte zu lenken, sowie die Möglichkeit, Präferenz- und Belohnungsmodelle nahezu ohne menschlichen Beitrag zu trainieren, wobei die einzigen erforderlichen menschlichen Annotationen das Schreiben der Prinzipien und einige Beispiel-Eingabeaufforderungen sind.

Die Studie zur Verfassungs-KI hebt das Potenzial hervor, große Sprachmodelle durch explizite Aussagen und Eingabeaufforderungen in Richtung ethischer Werte zu lenken. Die Schlüsselergebnisse sind:

• Der Verfassungs-KI-Ansatz trainiert das Modell anhand einer Reihe von Regeln und Prinzipien, mit dem Ziel, einen KI-Assistenten zu schaffen, der hilfreich, ehrlich und harmlos ist.
• Der zweistufige Prozess umfasst überwachtes Lernen zur Erstellung von Selbstüberarbeitungs-Eingabeaufforderungen, gefolgt von verstärkendem Lernen unter Verwendung KI-generierter Präferenzdaten.
• Modelle, die mit verstärkendem Lernen auf Basis der Verfassungs-KI trainiert wurden, sind deutlich weniger schädlich und nur selten ausweichend, können aber erklären, warum sie schädliche Eingabeaufforderungen ablehnen