Gemma 2, le dernier modèle de langage open-source de Google, introduit plusieurs innovations architecturales qui contribuent à ses performances élevées. Le modèle utilise une architecture de transformateur à décodeur uniquement, ce qui simplifie la conception du modèle par rapport à la configuration traditionnelle encodeur-décodeur.

Une innovation clé est l'utilisation d'une taille de vocabulaire importante de 256 000 jetons. Cela permet au modèle de gérer une large gamme de tâches multilingues, malgré un entraînement principalement sur des données en anglais. La grande taille du vocabulaire fournit au modèle une compréhension lexicale riche, lui permettant de bien performer dans divers domaines linguistiques.

De plus, l'architecture de Gemma 2 intègre plusieurs modifications par rapport à la conception standard du transformateur. Celles-ci incluent des ajustements du mécanisme d'attention, de la normalisation des couches et des connexions résiduelles, visant à améliorer l'efficacité et l'efficacité du modèle. Le rapport technique fournit des informations détaillées sur ces choix architecturaux et leur impact sur les performances du modèle.

En outre, Gemma 2 tire parti d'une approche de distillation des connaissances pour former des variantes de modèles plus petits, comme les versions de 9 milliards et 27 milliards de paramètres. En distillant les connaissances d'un modèle enseignant plus important, les modèles étudiants plus petits parviennent à obtenir de bons résultats tout en maintenant une taille plus pratique pour le déploiement. Cette technique démontre le potentiel de former efficacement des modèles de langage performants sans avoir besoin de jeux de données et de ressources de calcul massifs.

Dans l'ensemble, les innovations architecturales de Gemma 2 contribuent à ses performances de pointe sur divers benchmarks, en faisant un choix convaincant pour une large gamme de tâches de traitement du langage naturel.

Les modèles Gemini 2 de Google ont été entraînés sur un ensemble diversifié de sources de données, y compris des jeux de données publics internes et externes. Les principaux aspects des données d'entraînement sont :

1. Invites LMS Chat : L'équipe a utilisé les invites (mais pas les réponses) du jeu de données LMS Chat, un jeu de données public d'invites conversationnelles. Cela a permis aux modèles d'apprendre à partir d'un large éventail de scénarios de conversation sans être biaisés par les réponses prédéterminées.

2. Données internes : En plus des données publiques, l'équipe a également utilisé des sources de données internes pour le pré-entraînement des modèles. Cela a probablement fourni aux modèles une base de connaissances plus large et plus diversifiée.

3. Filtrage des données : Toutes les données d'entraînement ont été soumises à un processus de filtrage rigoureux pour supprimer le contenu non sécurisé ou en double. Cela a contribué à garantir que les modèles apprennent à partir de données de haute qualité et bien organisées.

4. Tokeniseur multilingue : Les modèles utilisent un tokeniseur avec un vocabulaire important de 256 000 jetons, ce qui leur permet de gérer une large gamme de langues, y compris non anglophones, pendant l'entraînement et l'inférence.

En tirant parti de cet ensemble diversifié de données d'entraînement, les modèles Gemini 2 ont pu acquérir une base de connaissances large et robuste, ce qui a probablement contribué à leurs performances élevées sur les benchmarks et les tâches de conversation du monde réel.

L'un des principaux défis dans l'entraînement de grands modèles de langage est le besoin de quantités massives de données pour les affiner efficacement. Même les modèles plus petits de la famille Gemini 2 nécessitent une quantité importante de données, avec la famille Lamda 3 étant affinée sur jusqu'à 15 billions de jetons, ce qui n'entraîne qu'une amélioration de moins de 1% par rapport aux modèles de pointe.

Pour relever ce défi, l'équipe de Gemini 2 a adopté une technique appelée distillation des connaissances. Cette approche consiste à utiliser un modèle "enseignant" plus important, comme Gemini 1.5 ou Colossal-AI, pour former un modèle "étudiant" plus petit. Au lieu de prédire directement le jeton suivant, le modèle étudiant est entraîné à correspondre à la distribution de probabilité du modèle enseignant, en utilisant la divergence de Kullback-Leibler (KL) comme fonction de perte.

Ce processus de distillation des connaissances est appliqué pendant les étapes de pré-entraînement et d'affinage fin pour les modèles Gemini 2 plus petits de 9 et 2 milliards de paramètres. Le modèle de 27 milliards, quant à lui, est entraîné à partir de zéro sans utiliser la distillation des connaissances.

Les avantages de cette approche sont doubles. Tout d'abord, elle permet aux modèles plus petits de tirer parti des connaissances et des capacités du modèle enseignant plus important, améliorant leurs performances sur les benchmarks et les tâches. Les études d'ablation présentées dans le document montrent que le modèle de 2 milliards de jetons entraîné avec la distillation des connaissances atteint un score de 67,8, contre seulement 60 lorsqu'il est entraîné à partir de zéro.

Deuxièmement, le processus de distillation des connaissances améliore également la perplexité des modèles plus petits, les rendant plus efficaces pendant l'inférence. Le document indique que modifier la taille de la fenêtre glissante pendant l'inférence a un effet minimal sur la perplexité, permettant des vitesses d'inférence plus rapides sans dégradation significative des performances.

Dans l'ensemble, l'utilisation de la distillation des connaissances dans les modèles Gemini 2 est une approche prometteuse pour former des modèles de langage plus petits et plus efficaces sans sacrifier les performances. Cette technique pourrait avoir des implications plus larges pour le développement de systèmes d'IA pratiques et performants.

Le modèle Gemini 2 utilise un modèle d'invite spécifique pour les conversations à tour unique. La structure de l'invite est la suivante :

<start_of_conversation>
<user_role>
<end_of_turn>
<model_role>
<end_of_sequence>

Pour un deuxième tour de conversation, l'invite serait complétée comme suit :

<start_of_conversation>
<user_role>
<end_of_turn>
<model_role>
<end_of_turn>
<user_role>
<end_of_sequence>

Les points clés sont :

• L'invite commence par le jeton <start_of_conversation>.
• Le jeton <user_role> indique la partie de la conversation de l'utilisateur.
• Le jeton <end_of_turn> sépare l'entrée de l'utilisateur et la réponse du modèle.
• Le jeton <model_role> indique la partie de la conversation du modèle.
• Le jeton <end_of_sequence> marque la fin de la conversation.

Ce format d'invite structuré permet au modèle de comprendre le contexte et le déroulement de la conversation, ce qui peut contribuer à ses bonnes performances sur les benchmarks basés sur la conversation.

L'approche de Google pour former les modèles Gemma 2 a impliqué d'exploiter les invites du jeu de données LMS chat, mais pas les réponses réelles. Au lieu de cela, ils ont utilisé le modèle enseignant pour générer des réponses à ces invites, qui ont ensuite été utilisées pour former les modèles étudiants par le biais de la distillation des connaissances.

Cette stratégie présente plusieurs avantages potentiels :

1. Éviter les biais : En n'utilisant pas les réponses prédéterminées du jeu de données LMS chat, le modèle est encouragé à être plus créatif et flexible dans ses sorties, plutôt que de simplement imiter les biais présents dans le jeu de données.

2. Tirer parti de l'expertise du modèle enseignant : Le modèle enseignant, plus important et plus capable, est utilisé pour générer des réponses de haute qualité aux invites LMS chat. Ces réponses sont ensuite utilisées pour former les modèles étudiants, leur permettant de bénéficier de l'expertise de l'enseignant.

3. Amélioration des performances sur les benchmarks LMS : Le processus de distillation des connaissances, combiné à l'utilisation des invites LMS chat, aide probablement les modèles Gemma 2 à mieux performer sur les benchmarks et les tâches liés à LMS, car ils ont été spécifiquement entraînés sur ce type de données.

Dans l'ensemble, cette approche démontre les efforts de Google pour exploiter des sources de données diversifiées et des techniques de formation innovantes afin d'améliorer les performances de leurs modèles de langage, en particulier sur les tâches et les benchmarks pertinents pour les applications du monde réel.

Le document présente des études d'ablation importantes qui valident l'efficacité des techniques utilisées pour former les modèles Gemini 2. Ces études fournissent des informations précieuses :

1. Impact de la distillation des connaissances : L'ablation montre que pour le modèle plus petit de 2 milliards, un entraînement à partir de zéro n'atteint qu'un score moyen de 60 sur les benchmarks, tandis que le processus de distillation des connaissances le fait passer à 67,8 - une amélioration substantielle. Cela démontre la puissance de la distillation des connaissances pour améliorer les performances des modèles plus petits, sans avoir besoin de quantités massives de données d'entraînement.

2. Taille de la fenêtre glissante : Les expériences révèlent que modifier la taille de la fenêtre glissante pendant l'inférence a un impact minimal sur la perplexité. Cela signifie que les modèles peuvent atteindre des vitesses d'inférence plus rapides en ajustant la taille de la fenêtre, avec seulement une réduction négligeable des performances. Cette flexibilité est cruciale pour un déploiement pratique.

3. Fusion des itérations de modèles : Le document mentionne que les auteurs ont utilisé une technique de fusion de plusieurs itérations des modèles pour améliorer encore les performances. Cette approche de moyennage des modèles aide à stabiliser l'entraînement et à améliorer la qualité du modèle final.

4. Filtrage de sécurité : Les modèles intègrent une couche de sécurité qui filtre les sorties non sécurisées ou en double. C'est une considération pratique importante pour le déploiement de ces grands modèles de langage dans des applications du monde réel.

En résumé, les études d'ablation valident l'efficacité des principales techniques utilisées pour former les modèles Gemini 2, notamment la distillation des connaissances, l'optimisation de la fenêtre glissante et la fusion des modèles. Ces résultats démontrent l'approche rigoureuse des auteurs pour le développement et l'optimisation des modèles, ce qui est essentiel pour fournir des modèles de langage performants et pratiques.

Les modèles Gemma 2 sont facilement accessibles pour une utilisation. Le moyen le plus simple d'y accéder est via Google AI Studio, où les modèles sont fournis dans la section "Modèles". De plus, les poids des modèles sont également disponibles sur la plateforme Hugging Face, vous permettant de les intégrer dans votre propre base de code.

Pour utiliser les modèles Gemma 2, vous devrez suivre un modèle d'invite spécifique. L'invite doit commencer par des jetons spéciaux, suivis du rôle de l'utilisateur, du jeton de fin de tour, du rôle du modèle et du jeton de fin de séquence. Pour un deuxième tour, vous devrez ajouter la même structure d'invite à la fin de la précédente, en vous assurant que le jeton de fin de séquence est présent.

Les modèles Gemma 2 existent en deux versions : le modèle de 9 milliards de paramètres et celui de 27 milliards de paramètres. Les deux versions sont disponibles pour une utilisation, et vous pouvez choisir celle qui correspond le mieux à vos besoins. Les modèles ont été entraînés à l'aide d'une combinaison de données internes et de données publiques externes, y compris les invites du jeu de données LMS chat, mais sans les réponses correspondantes.

Le processus de distillation des connaissances utilisé pour former les modèles Gemma 2 plus petits a montré des résultats prometteurs, avec le modèle de 2 milliards de paramètres surpassant le modèle de 6 milliards de paramètres entraîné à partir de zéro sur divers benchmarks. Cette technique pourrait être une approche précieuse pour former des modèles plus petits sans sacrifier les performances.

Dans une vidéo ultérieure, je démontrerai comment intégrer les modèles Gemma 2 dans votre propre code et fournirai des exemples de la manière de les utiliser efficacement. Restez à l'écoute pour plus de mises à jour sur ce développement passionnant dans le monde des grands modèles de langage.