L'élargissement de la fenêtre de contexte des modèles de langage à grande échelle débloque des capacités et des cas d'utilisation significatifs. Comme l'explique Léo, une fenêtre de contexte plus large permet au modèle de conserver plus d'informations dans sa "mémoire de travail", de manière similaire à la façon dont les humains peuvent rapidement se renseigner sur un sujet avant un examen. Cela permet au modèle d'effectuer un raisonnement et une synthèse plus complexes sur un ensemble plus large d'informations.

Les principaux avantages des fenêtres de contexte plus longues incluent :

• Efficacité et réduction des coûts: Au lieu de devoir décomposer les informations en plus petits morceaux et de les transmettre au modèle de manière séquentielle, une fenêtre de contexte plus longue permet au modèle de traiter le contexte complet en un seul passage. Cela réduit la nécessité de pré-traitement, de résumé et d'autres tâches de traitement.

• Compréhension approfondie: Avec plus de contexte disponible, le modèle peut mieux comprendre les relations et les connexions entre les différentes pièces d'information. Cela est particulièrement puissant pour des cas d'utilisation comme la génération de code, où le modèle peut raisonner sur l'ensemble d'une base de code ou d'un projet, plutôt que sur un seul fichier ou une seule fonction.

• Intégration multimodale: Des fenêtres de contexte plus longues permettent au modèle d'ingérer et de raisonner sur des sources de données diverses, du texte aux images en passant par les vidéos. Cela ouvre de nouvelles possibilités pour les tâches nécessitant la consultation et la synthèse d'informations provenant de plusieurs modalités.

L'extension de la fenêtre de contexte des modèles de langage à grande échelle au-delà des 4 à 8 000 jetons habituels pose des défis de calcul importants. Le principal goulot d'étranglement se situe dans le calcul de l'attention, qui évolue de manière quadratique avec le nombre de jetons.

Pour y remédier, l'équipe de Gradient a développé de nouvelles techniques pour rendre l'entraînement des modèles à long contexte beaucoup plus efficace - jusqu'à 30 fois plus efficace en temps de calcul et 100 fois plus efficace en efficacité d'échantillonnage par rapport aux travaux antérieurs. Cela leur a permis de former avec succès un modèle Llama 3 avec une fenêtre de contexte d'un million de jetons.

Le processus implique de concevoir soigneusement l'encodage positionnel pour permettre au modèle de comprendre et de raisonner efficacement sur de tels longs contextes. De plus, l'équipe a mis en œuvre des stratégies de mise en cache pour réutiliser les calculs d'attention sur plusieurs requêtes, réduisant ainsi la charge de calcul en temps réel.

Le processus d'extension de la fenêtre de contexte des modèles de langage à grande échelle comme Llama 3 implique plusieurs considérations clés. Tout d'abord, les défis de calcul doivent être relevés, car l'exécution de modèles à long contexte sur un seul GPU peut rapidement devenir prohibitive. L'équipe de Gradient a travaillé pour améliorer l'efficacité de leur processus d'entraînement, atteignant jusqu'à 100 fois d'amélioration en efficacité d'échantillonnage par rapport aux travaux antérieurs.

L'extension de la longueur du contexte nécessite également d'enseigner au modèle de nouvelles compétences pour comprendre et raisonner sur des séquences de texte plus longues. Cela se fait par un processus d'entraînement plus proche de l'entraînement du modèle d'origine, en mettant l'accent sur l'encodage positionnel pour aider le modèle à distinguer les jetons qui sont à 10, 100 ou un million de jetons d'écart.

Lorsqu'il s'agit d'évaluer les performances de ces modèles à long contexte, la tâche de "l'aiguille dans une botte de foin" est un bon point de départ, où le modèle doit localiser un petit morceau d'information enfoui dans un grand contexte. Cependant, cela ne teste que la capacité du modèle à effectuer un rappel associatif. Pour mieux évaluer la capacité du modèle à faire des références croisées et à synthétiser des informations provenant de différentes parties d'un grand contexte, des référentiels comme le "Ruler" de Nvidia sont plus appropriés.

Alors que les modèles à long contexte actuels comme la version Llama 3 d'un million de jetons de Gradient performent bien sur ces référentiels, il y a encore de la place pour l'amélioration, surtout à mesure que les longueurs de contexte continuent de croître. L'équipe explore des techniques d'utilisation efficace de la mémoire pour servir ces modèles, permettant des cas d'utilisation plus pratiques et accessibles. Alors que le domaine des modèles de langage à grande échelle continue d'évoluer, la capacité à travailler et à raisonner sur des contextes plus longs sera un domaine clé de concentration et d'innovation.

Alors que le domaine des modèles de langage à grande échelle continue d'évoluer, deux domaines clés qui suscitent de l'enthousiasme sont l'efficacité de la mémoire et la multimodalité.

Efficacité de la mémoire :

• Servir des modèles de langage à grande échelle avec des fenêtres de contexte d'un million de jetons pose des défis de calcul importants.
• Des techniques comme la mise en cache et la décompression sélective de la mémoire peuvent aider à rendre ces modèles plus économes en mémoire et plus pratiques à déployer.
• L'objectif est d'imiter la capacité du cerveau humain à accéder de manière sélective aux informations pertinentes de nos vastes "banques de mémoire" plutôt que de conserver l'équivalent d'un manuel entier dans notre mémoire de travail.
• Développer des algorithmes économes en mémoire sera essentiel pour rendre les modèles à grand contexte largement accessibles et utilisables.

Multimodalité :

• La capacité à intégrer et à raisonner sur plusieurs modalités, comme le texte, les images et même les vidéos, est une frontière clé pour les modèles de langage à grande échelle.
• Être capable d'intégrer une vidéo de 30 minutes dans la fenêtre de contexte et de faire en sorte que le modèle en comprenne et en raisonne le contenu ouvre de nouvelles possibilités.
• Cette compréhension multimodale peut permettre des applications puissantes, comme la génération de code qui s'intègre à une base de code, ou la réponse à des questions qui s'appuie sur diverses sources d'information.
• Faire progresser les capacités multimodales nécessitera des recherches et des innovations supplémentaires, mais les retombées potentielles sont importantes.

Dans l'ensemble, l'avenir des modèles de langage à grande échelle réside dans leur rendre plus économes en mémoire et plus multimodaux. En relevant ces défis, la communauté de recherche peut débloquer de nouveaux niveaux de compréhension et de raisonnement du langage, avec des applications transformatrices dans tous les secteurs.