Gemma 2, das neueste Open-Source-Sprachmodell von Google, führt mehrere architektonische Innovationen ein, die zu seiner starken Leistung beitragen. Das Modell verwendet eine Decoder-only-Transformer-Architektur, die das Modelldesign im Vergleich zur traditionellen Encoder-Decoder-Konfiguration vereinfacht.

Eine Schlüsselinnovation ist die Verwendung einer großen Vokabulargröße von 256.000 Token. Dies ermöglicht es dem Modell, eine breite Palette von mehrsprachigen Aufgaben zu bewältigen, obwohl es in erster Linie auf englischen Daten trainiert wurde. Die große Vokabulargröße verleiht dem Modell ein reichhaltiges lexikalisches Verständnis, was ihm ermöglicht, über verschiedene Sprachdomänen hinweg gut abzuschneiden.

Darüber hinaus beinhaltet die Gemma 2-Architektur mehrere Modifikationen am Standard-Transformer-Design. Dazu gehören Anpassungen am Aufmerksamkeitsmechanismus, der Schichtnormalisierung und den Residualverbindungen, die darauf abzielen, die Effizienz und Wirksamkeit des Modells zu verbessern. Der technische Bericht liefert detaillierte Einblicke in diese architektonischen Entscheidungen und ihre Auswirkungen auf die Leistung des Modells.

Darüber hinaus nutzt Gemma 2 einen Wissenstransfer-Ansatz, um kleinere Modellvarianten wie die 9-Milliarden- und 27-Milliarden-Parameter-Versionen zu trainieren. Durch das Destillieren von Wissen aus einem größeren Lehrermodell können die kleineren Schülermodelle starke Ergebnisse erzielen, ohne dabei eine zu große Größe für den Einsatz zu haben. Diese Technik zeigt das Potenzial für eine effiziente Ausbildung von hochleistungsfähigen Sprachmodellen, ohne riesige Datensätze und Rechenressourcen benötigen zu müssen.

Insgesamt tragen die architektonischen Innovationen in Gemma 2 zu seiner Spitzenleistung in verschiedenen Benchmarks bei, was es zu einer überzeugenden Wahl für eine breite Palette von Aufgaben der natürlichen Sprachverarbeitung macht.

Die Gemini 2-Modelle von Google wurden auf einer vielfältigen Reihe von Datenquellen trainiert, darunter sowohl interne als auch öffentlich zugängliche Datensätze. Die Schlüsselaspekte der Trainingsdaten sind:

1. LMS-Chat-Aufforderungen: Das Team verwendete die Aufforderungen (aber nicht die Antworten) aus dem öffentlichen LMS-Chat-Datensatz, einem Datensatz mit Gesprächsaufforderungen. Dies ermöglichte es den Modellen, aus einer Vielzahl von Gesprächsszenarien zu lernen, ohne durch die vorbestimmten Antworten beeinflusst zu werden.

2. Interne Daten: Zusätzlich zu den öffentlichen Daten verwendete das Team auch interne Datenquellen für das Vortraining der Modelle. Dies verschaffte den Modellen wahrscheinlich eine breitere und vielfältigere Wissensbasis.

3. Datenfilterung: Alle Trainingsdaten durchliefen einen gründlichen Filterungsprozess, um unsichere oder doppelte Inhalte zu entfernen. Dies trug dazu bei, dass die Modelle aus hochwertigen, kuratierten Daten lernten.

4. Mehrsprachiger Tokenizer: Die Modelle verwenden einen Tokenizer mit einem großen Vokabular von 256.000 Token, was es ihnen ermöglicht, eine breite Palette von Sprachen, einschließlich Nicht-Englisch, während des Trainings und der Inferenz zu verarbeiten.

Durch die Nutzung dieses vielfältigen Satzes an Trainingsdaten konnten die Gemini 2-Modelle eine breite und robuste Wissensbasis erwerben, was wahrscheinlich zu ihrer starken Leistung bei Benchmarks und realen Gesprächsaufgaben beigetragen hat.

Eine der größten Herausforderungen beim Training großer Sprachmodelle ist der Bedarf an riesigen Datenmengen, um sie effektiv feinabzustimmen. Selbst die kleineren Modelle in der Gemini 2-Familie erfordern eine erhebliche Datenmenge, wobei die Lamda 3-Familie auf bis zu 15 Billionen Token feinabgestimmt wird, was zu einer Verbesserung von weniger als 1% im Vergleich zu State-of-the-Art-Modellen führt.

Um dieses Problem anzugehen, hat das Gemini 2-Team eine Technik namens Wissenstransfer (Knowledge Distillation) eingeführt. Dieser Ansatz beinhaltet die Verwendung eines größeren "Lehrer"-Modells, wie Gemini 1.5 oder Colossal-AI, um ein kleineres "Schüler"-Modell auszubilden. Anstatt direkt das nächste Token vorherzusagen, wird das Schülermodell darauf trainiert, die Wahrscheinlichkeitsverteilung des Lehrermodells nachzuahmen, wobei die Kullback-Leibler-Divergenz (KL-Divergenz) als Verlustfunktion verwendet wird.

Dieser Wissenstransferprozess wird sowohl in der Vortrainings- als auch in der Feinabstimmungsphase für die kleineren 9- und 2-Milliarden-Parameter-Gemini 2-Modelle angewendet. Das 27-Milliarden-Modell wird dagegen ohne Verwendung von Wissenstransfer von Grund auf trainiert.

Die Vorteile dieses Ansatzes sind zweifach. Erstens ermöglicht er es den kleineren Modellen, das Wissen und die Fähigkeiten des größeren Lehrermodells zu nutzen, was ihre Leistung bei Benchmarks und Aufgaben verbessert. Die in dem Papier präsentierten Ablationsstudien zeigen, dass das 2-Milliarden-Token-Modell, das mit Wissenstransfer trainiert wurde, einen Punktwert von 67,8 erreicht, verglichen mit nur 60 bei Training von Grund auf.

Zweitens verbessert der Wissenstransferprozess auch die Perplexität der kleineren Modelle, was sie während der Inferenz effizienter macht. Das Papier weist darauf hin, dass eine Änderung der Gleitfenstergröße während der Inferenz nur minimale Auswirkungen auf die Perplexität hat, was eine schnellere Inferenz ohne wesentlichen Leistungsabfall ermöglicht.

Insgesamt ist der Einsatz von Wissenstransfer in den Gemini 2-Modellen ein vielversprechender Ansatz zum Training kleinerer, effizienterer Sprachmodelle, ohne dabei Leistung einzubüßen. Diese Technik könnte weitreichende Auswirkungen auf die Entwicklung praktischer, hochleistungsfähiger KI-Systeme haben.

Das Gemini 2-Modell verwendet eine spezielle Aufforderungsvorlage für Einzelgespräche. Die Aufforderungsstruktur sieht wie folgt aus:

<start_of_conversation>
<user_role>
<end_of_turn>
<model_role>
<end_of_sequence>

Für einen zweiten Gesprächsschritt würde die Aufforderung wie folgt erweitert:

<start_of_conversation>
<user_role>
<end_of_turn>
<model_role>
<end_of_turn>
<user_role>
<end_of_sequence>

Die Schlüsselpunkte sind:

• Die Aufforderung beginnt mit dem Token <start_of_conversation>.
• Das Token <user_role> gibt den Teil des Gesprächs des Benutzers an.
• <end_of_turn> trennt den Beitrag des Benutzers und die Antwort des Modells.
• Das Token <model_role> gibt den Teil des Gesprächs des Modells an.
• <end_of_sequence> markiert das Ende des Gesprächs.

Dieses strukturierte Aufforderungsformat ermöglicht es dem Modell, den Kontext und den Ablauf des Gesprächs zu verstehen, was zu seiner starken Leistung bei Chat-basierten Benchmarks beitragen kann.

Googles Ansatz zum Training der Gemma 2-Modelle bestand darin, die Aufforderungen aus dem LMS-Chat-Datensatz zu nutzen, aber nicht die tatsächlichen Antworten. Stattdessen verwendeten sie das Lehrermodell, um Antworten für diese Aufforderungen zu generieren, die dann verwendet wurden, um die Schülermodelle durch Wissenstransfer auszubilden.

Diese Strategie hat mehrere potenzielle Vorteile:

1. Vermeidung von Verzerrungen: Durch die Nichtverwendung der vorbestimmten Antworten aus dem LMS-Chat-Datensatz wird das Modell dazu ermutigt, kreativer und flexibler in seinen Ausgaben zu sein, anstatt einfach die in den Datensätzen vorhandenen Verzerrungen nachzuahmen.

2. Nutzung der Expertise des Lehrermodells: Das größere und leistungsfähigere Lehrermodell wird verwendet, um hochwertige Antworten für die LMS-Chat-Aufforderungen zu generieren. Diese Antworten werden dann verwendet, um die Schülermodelle auszubilden, wodurch sie von der Expertise des Lehrers profitieren können.

3. Verbesserte Leistung bei LMS-Benchmarks: Der Prozess des Wissenstransfers, kombiniert mit der Verwendung von LMS-Chat-Aufforderungen, hilft den Gemma 2-Modellen wahrscheinlich, bei LMS-bezogenen Benchmarks und Aufgaben besser abzuschneiden, da sie speziell auf diese Art von Daten trainiert wurden.

Insgesamt zeigt dieser Ansatz die Bemühungen Googles, vielfältige Datenquellen und innovative Trainingstechniken zu nutzen, um die Leistung ihrer Sprachmodelle, insbesondere bei für Realweltanwendungen relevanten Aufgaben und Benchmarks, zu verbessern.

Das Papier präsentiert wichtige Ablationsstudien, die die Wirksamkeit der bei der Ausbildung der Gemini 2-Modelle verwendeten Techniken validieren. Diese Studien liefern wertvolle Erkenntnisse:

1. Auswirkung des Wissenstransfers: Die Ablation zeigt, dass für das kleinere 2B-Modell das Training von Grund auf nur einen durchschnittlichen Benchmark-Punktwert von 60 erreicht, während der Wissenstransferprozess diesen auf 67,8 steigert - eine erhebliche Verbesserung. Dies demonstriert die Kraft des Wissenstransfers bei der Leistungssteigerung kleinerer Modelle, ohne massive Trainingsmengen zu benötigen.

2. Gleitfenstergröße: Die Experimente zeigen, dass eine Änderung der Gleitfenstergröße während der Inferenz nur minimale Auswirkungen auf die Perplexität hat. Dies bedeutet, dass die Modelle durch Anpassen der Fenstergröße schnellere Inferenzgeschwindigkeiten erreichen können, ohne dass dies zu einer nennenswerten Leistungseinbuße führt. Diese Flexibilität ist für den praktischen Einsatz entscheidend.

3. Zusammenführen von Modelliterationen: Das Papier erwähnt, dass die Autoren eine Technik des Zusammenführens mehrerer Iterationen der Modelle verwendeten, um die Leistung weiter zu verbessern. Dieser Modell-Averaging-Ansatz hilft, das Training zu stabilisieren und die Qualität des endgültigen Modells zu verbessern.

4. Sicherheitsfilterung: Die Modelle beinhalten eine Sicherheitsschicht, die unsichere oder doppelte Ausgaben herausfiltert. Dies ist eine wichtige praktische Überlegung für den Einsatz dieser großen Sprachmodelle in Realweltanwendungen.

Zusammengefasst validieren die Ablationsstudien die Wirksamkeit der Schlüsseltechniken, die beim Training der Gemini 2-Modelle verwendet wurden, einschließlich Wissenstransfer, Optimierung der Gleitfenstergröße und Modellzusammenführung. Diese Erkenntnisse zeigen den rigorosen Ansatz der Autoren bei der Modellentwicklung und -optimierung, der für die Bereitstellung hochleistungsfähiger und praktischer Sprachmodelle entscheidend ist.

Die Gemma 2-Modelle sind für die Nutzung leicht zugänglich. Der einfachste Weg, auf sie zuzugreifen, ist über Google AI Studio, wo die Modelle im Abschnitt "Modelle" bereitgestellt werden. Darüber hinaus sind die Modellgewichte auch auf der Hugging Face-Plattform verfügbar, was es Ihnen ermöglicht, sie in Ihre eigene Codebasis zu integrieren.

Um die Gemma 2-Modelle zu verwenden, müssen Sie einem bestimmten Aufforderungsformat folgen. Die Aufforderung sollte mit Sonderzeichen beginnen, gefolgt von der Rolle des Benutzers, dem Ende-des-Turns-Token, der Rolle des Modells und dem Ende-der-Sequenz-Token. Für einen zweiten Gesprächsschritt müssen Sie dieselbe Aufforderungsstruktur an das Ende der vorherigen anhängen und sicherstellen, dass das Ende-der-Sequenz-Token vorhanden ist.

Die Gemma 2-Modelle gibt es in zwei Versionen: das 9-Milliarden-Parameter-Modell und das 27-Milliarden-Parameter-Modell. Beide Versionen sind für die Nutzung verfügbar, und Sie können diejenige auswählen, die am besten zu Ihren Bedürfnissen passt. Die Modelle wurden unter Verwendung einer Kombination aus internen und externen öffentlichen Daten, einschließlich Aufforderungen aus dem LMS-Chat-Datensatz, aber ohne die entsprechenden Antworten, trainiert.

Der beim Training der kleineren Gemma 2-Modelle verwendete Wissenstransferprozess hat vielversp