Gemma 2, Google's nieuwste open-source taalmodel, introduceert verschillende architecturale innovaties die bijdragen aan zijn sterke prestaties. Het model gebruikt een decoder-only Transformer-architectuur, wat het modelontwerp vereenvoudigt in vergelijking met de traditionele encoder-decoder-opstelling.

Eén belangrijke innovatie is het gebruik van een grote woordenschatgrootte van 256.000 tokens. Hierdoor kan het model een breed scala aan meertalige taken aan, ondanks dat het voornamelijk is getraind op Engelstalige data. De grote woordenschatgrootte geeft het model een rijke lexicale kennis, waardoor het goed presteert op diverse taalidomeinen.

Bovendien incorporeert de Gemma 2-architectuur verschillende aanpassingen aan het standaard Transformer-ontwerp. Dit omvat aanpassingen aan het aandachtsmechanisme, laagnormalisatie en residuele verbindingen, die gericht zijn op het verbeteren van de efficiëntie en effectiviteit van het model. Het technische rapport biedt gedetailleerde inzichten in deze architecturale keuzes en hun impact op de prestaties van het model.

Daarnaast maakt Gemma 2 gebruik van een kennisdistillatie-aanpak om kleinere modelversies te trainen, zoals de 9 miljard en 27 miljard parameter-versies. Door kennis over te dragen van een groter docent-model, kunnen de kleinere student-modellen sterke resultaten behalen, terwijl ze een praktischer formaat behouden voor implementatie. Deze techniek demonstreert het potentieel om efficiënt hoogwaardige taalmodellen te trainen zonder de noodzaak van enorme datasets en rekenkracht.

De Gemini 2-modellen van Google werden getraind op een diverse set aan databronnen, waaronder zowel interne als externe openbare datasets. De belangrijkste aspecten van de trainingsdata zijn:

1. LMS Chat Prompts: Het team gebruikte de prompts (maar niet de antwoorden) uit de LMS Chat-dataset, een openbare dataset met conversationele prompts. Dit stelde de modellen in staat te leren van een breed scala aan conversationele scenario's zonder beïnvloed te worden door de vooraf bepaalde antwoorden.

2. Interne Data: Naast de openbare data gebruikte het team ook interne databronnen voor het voortrainen van de modellen. Dit leverde de modellen waarschijnlijk een bredere en meer diverse kennisbasis op.

3. Data Filtering: Alle trainingsdata ging door een rigoureus filterproces om onveilige of duplicaatinhoud te verwijderen. Dit hielp ervoor te zorgen dat de modellen leerden van hoogwaardige, gecureerde data.

4. Meertalige Tokenizer: De modellen gebruiken een tokenizer met een grote woordenschat van 256.000 tokens, waardoor ze in staat zijn om een breed scala aan talen, inclusief niet-Engelse talen, te verwerken tijdens training en inferentie.

Eén van de grootste uitdagingen bij het trainen van grote taalmodellen is de behoefte aan enorme hoeveelheden data om ze effectief bij te schaven. Zelfs de kleinere modellen in de Gemini 2-familie vereisen een aanzienlijke hoeveelheid data, waarbij de Lamda 3-familie wordt bijgeschaafd op tot 15 biljoen tokens, wat resulteert in minder dan 1% verbetering ten opzichte van state-of-the-art modellen.

Om dit probleem aan te pakken, heeft het Gemini 2-team een techniek genaamd kennisdistillatie toegepast. Deze aanpak houdt in dat er gebruik wordt gemaakt van een groter "docent"-model, zoals Gemini 1.5 of Colossal-AI, om een kleiner "student"-model te trainen. In plaats van direct de volgende token te voorspellen, wordt het student-model getraind om de kansverdeling van het docent-model te matchen, waarbij Kullback-Leibler (KL)-divergentie als verliesfunctie wordt gebruikt.

Dit kennisdistillatie-proces wordt toegepast tijdens zowel de voortraining als de finetuning-stadia voor de kleinere 9 en 2 miljard parameter Gemini 2-modellen. Het 27 miljard model daarentegen wordt van scratch getraind zonder het gebruik van kennisdistillatie.

De voordelen van deze aanpak zijn tweeledig. Ten eerste stelt het de kleinere modellen in staat om te profiteren van de kennis en mogelijkheden van het grotere docent-model, waardoor hun prestaties op benchmarks en taken verbeteren. De ablatie-studies in het paper laten zien dat het 2 miljard token-model dat is getraind met kennisdistillatie een score van 67,8 behaalt, vergeleken met slechts 60 wanneer het van scratch wordt getraind.

Ten tweede verbetert het kennisdistillatie-proces ook de perplexiteit van de kleinere modellen, waardoor ze efficiënter worden tijdens inferentie. Het paper vermeldt dat het aanpassen van de schuivende venstergrootte tijdens inferentie een minimaal effect heeft op de perplexiteit, waardoor snellere inferentiesnelheden mogelijk zijn zonder significante prestatievermindering.

Het Gemini 2-model gebruikt een specifieke prompt-sjabloon voor één-op-één conversaties. De prompt-structuur is als volgt:

<start_of_conversation>
<user_role>
<end_of_turn>
<model_role>
<end_of_sequence>

Voor een tweede beurt in het gesprek zou de prompt worden toegevoegd als:

<start_of_conversation>
<user_role>
<end_of_turn>
<model_role>
<end_of_turn>
<user_role>
<end_of_sequence>

De belangrijkste punten zijn:

• De prompt begint met het <start_of_conversation>-token.
• Het <user_role>-token geeft het deel van de gebruiker in het gesprek aan.
• <end_of_turn>-token scheidt de invoer van de gebruiker en het antwoord van het model.
• <model_role>-token geeft het deel van het model in het gesprek aan.
• <end_of_sequence>-token markeert het einde van het gesprek.

De aanpak van Google bij het trainen van de Gemma 2-modellen hield in dat ze de prompts uit de LMS chat-dataset gebruikten, maar niet de daadwerkelijke antwoorden. In plaats daarvan gebruikten ze het docent-model om antwoorden voor deze prompts te genereren, die vervolgens werden gebruikt om de student-modellen te trainen via kennisdistillatie.

Deze strategie heeft verschillende potentiële voordelen:

1. Vermijden van Vooroordelen: Door de vooraf bepaalde antwoorden uit de LMS chat-dataset niet te gebruiken, wordt het model aangemoedigd om creatiever en flexibeler te zijn in zijn output, in plaats van simpelweg de vooroordelen in de dataset na te bootsen.

2. Gebruik maken van Expertise Docent-Model: Het docent-model, dat groter en capabeler is, wordt gebruikt om hoogwaardige antwoorden te genereren voor de LMS chat-prompts. Deze antwoorden worden vervolgens gebruikt om de student-modellen te trainen, waardoor ze kunnen profiteren van de expertise van de docent.

3. Verbeterde Prestaties op LMS-Benchmarks: Het proces van kennisdistillatie, in combinatie met het gebruik van LMS chat-prompts, helpt de Gemma 2-modellen waarschijnlijk beter te presteren op LMS-gerelateerde benchmarks en taken, aangezien ze specifiek op dit soort data zijn getraind.

Het paper presenteert belangrijke ablatie-studies die de effectiviteit van de technieken die zijn gebruikt bij het trainen van de Gemini 2-modellen valideren. Deze studies bieden waardevolle inzichten:

1. Impact Kennisdistillatie: De ablatie laat zien dat voor het kleinere 2B-model, trainen vanaf scratch alleen een gemiddelde benchmark-score van 60 oplevert, terwijl het kennisdistillatie-proces dit verhoogt tot 67,8 - een aanzienlijke verbetering. Dit demonstreert de kracht van kennisdistillatie bij het verbeteren van de prestaties van kleinere modellen, zonder de noodzaak van enorme hoeveelheden trainingsdata.

2. Schuivende Venstergrootte: De experimenten onthullen dat het aanpassen van de schuivende venstergrootte tijdens inferentie een minimaal effect heeft op de perplexiteit. Dit betekent dat de modellen snellere inferentiesnelheden kunnen bereiken door de venstergrootte aan te passen, met slechts een verwaarloosbare vermindering in prestaties. Deze flexibiliteit is cruciaal voor praktische implementatie.

3. Samenvoegen Model Iteraties: Het paper vermeldt dat de auteurs een techniek gebruikten om meerdere iteraties van de modellen samen te voegen om de prestaties verder te verbeteren. Deze model-gemiddelde aanpak helpt de training te stabiliseren en de kwaliteit van het uiteindelijke model te verbeteren.

4. Veiligheidsfiltering: De modellen bevatten een veiligheidslag die onveilige of duplicaatuitvoer filtert. Dit is een belangrijk praktisch aspect voor het implementeren van deze grote taalmodellen in real-world toepassingen.

De Gemma 2-modellen zijn klaar voor gebruik. De eenvoudigste manier om er toegang toe te krijgen is via Google AI Studio, waar de modellen worden aangeboden onder de sectie "Models". Daarnaast zijn de modelgewichten ook beschikbaar op het Hugging Face-platform, waardoor je ze kunt integreren in je eigen codebase.

Om de Gemma 2-modellen te gebruiken, moet je een specifieke prompt-sjabloon volgen. De prompt moet beginnen met speciale tokens, gevolgd door de rol van de gebruiker, het einde van de beurt-token, de rol van het model en het einde van de sequentie-token. Voor een tweede beurt moet je dezelfde prompt-structuur toevoegen aan het einde van de vorige, waarbij je ervoor zorgt dat het einde van de sequentie-token aanwezig is.

De Gemma 2-modellen zijn er in twee versies: het 9 miljard parameter-model en het 27 miljard parameter-model. Beide versies zijn beschikbaar voor gebruik, en je kunt kiezen welke het beste bij je behoeften past. De modellen zijn getraind met een combinatie van interne en externe openbare data, inclusief prompts uit de LMS chat-dataset, maar zonder de bijbehorende antwoorden.

Het kennisdistillatie-proces dat is gebruikt bij het trainen van de kleinere Gemma 2-modellen heeft veelbelovende resultaten laten zien, waarbij het 2 miljard parameter-model het 6 miljard parameter-model dat van scratch is getraind, overtreft op verschillende benchmarks. Deze techniek zou een waardevolle aanpak kunnen zijn voor het trainen van kleinere modellen zonder dat dit ten koste gaat van de prestaties.

In een volgende video zal ik laten zien hoe je de Gemma 2-modellen kunt integreren in je eigen code en voorbeelden geven van hoe je ze effectief kunt gebruiken. Blijf op de hoogte voor meer updates over deze opwindende ontwikkeling in de wereld van grote taalmodellen.