La dernière version du modèle Mistral 7B, version 3, apporte des changements et des améliorations significatifs. Contrairement aux versions précédentes, ce modèle a été directement publié sur Hugging Face, le rendant plus accessible. Bien que les performances devraient être similaires au modèle Mistral 7B, il y a quelques mises à jour importantes.

Le changement le plus notable est qu'il s'agit d'un modèle complètement non censuré, avec un vocabulaire étendu de quelques centaines de jetons. Cette expansion est liée à sa capacité à prendre en charge nativement l'appel de fonction, une nouvelle fonctionnalité introduite dans cette version. De plus, le tokenizer a été mis à jour pour s'adapter à ces changements.

Le modèle conserve la même fenêtre de contexte de 32 000 jetons, et le package Python Mistral Inference a été mis à jour pour permettre une inférence transparente sur ce modèle. Ce package fournit un moyen simple d'installer, de télécharger et d'exécuter le modèle, comme le montre le notebook Python fourni.

La nature non censurée du modèle lui permet de générer des réponses sur un large éventail de sujets, y compris des sujets potentiellement sensibles ou controversés. Cependant, il inclut des avertissements appropriés pour s'assurer que les informations ne soient pas mal utilisées à des fins illégales.

Les performances du modèle sur diverses tâches, comme répondre à des questions basées sur la logique, démontrent ses capacités impressionnantes. Il démontre également de solides capacités de programmation, y compris la capacité de générer du code HTML et d'intégrer des outils externes via sa fonctionnalité d'appel de fonction.

Dans l'ensemble, le modèle Mistral v3 représente une avancée significative, offrant aux utilisateurs l'accès à un puissant modèle de langage non censuré avec des fonctionnalités améliorées. Ses applications potentielles couvrent un large éventail de domaines, et une exploration plus approfondie de ses capacités est fortement encouragée.

Pour commencer avec le dernier modèle Mistral 7B v3, nous allons parcourir le processus d'installation et de configuration étape par étape :

1. Installer le package Mistral Inference : La méthode recommandée pour effectuer l'inférence sur le modèle Mistral 7B v3 est d'utiliser le package Python Mistral Inference. Vous pouvez l'installer à l'aide de pip :

   pip install mistral-inference
   

2. Télécharger le modèle : Nous allons définir le chemin où nous voulons télécharger le modèle et vérifier si le répertoire existe. Sinon, nous le créerons. Ensuite, nous utiliserons la fonction snapshot_download du Hugging Face Hub pour télécharger les fichiers du modèle :

   model_path = 'path/to/mistral-7b-v3'
   if not os.path.exists(model_path):
       os.makedirs(model_path)
   
   model_repo_id = 'mosaicml/mistral-7b-v3'
   model = snapshot_download(model_repo_id, cache_dir=model_path)
   

   Cela téléchargera les fichiers du modèle dans le répertoire spécifié, ce qui peut prendre quelques minutes selon votre connexion Internet.

3. Exécuter l'inférence dans l'interface de ligne de commande : Vous pouvez utiliser la commande mral chat pour exécuter le modèle dans l'interface de ligne de commande (CLI). Cela vous permettra de fournir une invite et de générer une réponse :

   mral chat path/to/mistral-7b-v3 --instruct --max_new_tokens 256
   

   Lorsque vous y serez invité, entrez un message et le modèle générera une réponse.

4. Utiliser le modèle en Python : Dans votre code Python, vous pouvez utiliser le package Mistral Inference pour charger le modèle et générer des réponses de manière programmatique :

   from mistral_inference import Transformer, ChatCompletionRequest
   
   model = Transformer.from_pretrained(model_path)
   tokenizer = Transformer.from_pretrained(model_path, subfolder='tokenizer')
   
   def generate_response(model, tokenizer, user_query):
       chat_request = ChatCompletionRequest(user_query)
       output_tokens = model.generate(chat_request.input_ids, max_new_tokens=1024, eos_token_id=tokenizer.eos_token_id)
       output_text = tokenizer.decode(output_tokens[0], skip_special_tokens=True)
       return output_text
   
   user_query = "Hello, how are you?"
   response = generate_response(model, tokenizer, user_query)
   print(response)
   

Cela couvre les étapes essentielles pour commencer avec le modèle Mistral 7B v3. Vous pouvez maintenant explorer les capacités du modèle, le tester avec différentes invites et même l'affiner sur vos propres données dans les étapes suivantes.

La dernière version du modèle Mistral 7B, version 3, apporte plusieurs changements notables. Contrairement aux versions précédentes, ce modèle a été directement publié sur Hugging Face, plutôt que de fournir uniquement des liens magnétiques. Bien que les performances devraient être similaires au modèle Mistral 7B, il y a quelques mises à jour importantes.

Le modèle est maintenant complètement non censuré, avec un vocabulaire étendu de quelques centaines de jetons supplémentaires. Cette expansion est liée à son amélioration de la capacité d'appel de fonction, qui est désormais prise en charge de manière native. Le tokenizer a également été mis à jour pour s'adapter à ces changements.

Pour commencer avec le nouveau modèle Mistral 7B v3, nous allons parcourir l'installation du package Python Mistral Inference, le téléchargement du modèle et les requêtes initiales. Nous explorerons les capacités du modèle, y compris sa capacité à générer des réponses à diverses invites, à gérer des sujets sensibles et à démontrer ses compétences de raisonnement.

L'une des fonctionnalités les plus impressionnantes de ce modèle est sa nouvelle capacité d'appel de fonction ajoutée. Nous plongerons dans un exemple de la manière dont le modèle peut utiliser un outil personnalisé "obtenir la météo actuelle" pour fournir des informations météorologiques pour un emplacement donné, démontrant sa polyvalence dans l'intégration de fonctionnalités externes.

Dans l'ensemble, le modèle Mistral 7B v3 présente une évolution passionnante dans le monde des modèles de langage de grande taille, avec ses capacités étendues et le potentiel pour un affinage et une intégration plus poussés avec diverses applications.

La dernière version du modèle Mistral 7B, version 3, introduit une avancée significative - la capacité de prendre en charge nativement l'appel de fonction. Cette fonctionnalité permet au modèle de tirer parti d'outils et d'API externes pour améliorer ses capacités, dépassant les contraintes traditionnelles des modèles de langage.

L'un des points forts de Mistral v3 est son vocabulaire étendu, qui comprend désormais plusieurs centaines de jetons supplémentaires. Cette expansion est directement liée à la fonctionnalité d'appel de fonction du modèle, lui permettant d'intégrer et d'utiliser de manière transparente des ressources externes.

Pour démontrer cette capacité, nous allons parcourir un exemple où le modèle est chargé de récupérer la météo actuelle pour un emplacement spécifique. Le modèle se voit fournir une liste d'outils disponibles, y compris une fonction "get_current_weather" qui prend l'emplacement et le format de température en tant que paramètres d'entrée.

Lorsqu'on lui demande une requête comme "Quel temps fait-il aujourd'hui à Paris ?", le modèle reconnaît la nécessité d'utiliser l'outil externe et génère l'appel de fonction approprié. Il identifie correctement Paris comme emplacement et détermine que le format Celsius est le format de température approprié en fonction du contexte.

De même, lorsque la requête est modifiée pour "Quel temps fait-il aujourd'hui à San Francisco ?", le modèle s'adapte et génère l'appel de fonction avec le bon emplacement et le bon format de température.

Ce mécanisme d'appel de fonction va au-delà des simples requêtes météorologiques. Le modèle peut également gérer des tâches plus complexes, comme effectuer des calculs mathématiques ou accéder à d'autres types de données et de services.

L'intégration de l'appel de fonction représente une étape importante dans les capacités des modèles de langage de grande taille. En se libérant des contraintes d'une base de connaissances fermée, Mistral v3 peut tirer parti de manière dynamique de ressources externes pour fournir des réponses plus complètes et adaptées aux requêtes des utilisateurs.

Alors que nous explorons tout le potentiel de l'appel de fonction avancé de Mistral v3, nous pouvons nous attendre à voir émerger encore plus d'applications et d'utilisations innovantes, repoussant les limites de ce qui est possible avec les modèles de langage de pointe.

La sortie du modèle Mistral 7B V3 par l'équipe MRO est un développement important dans le monde des modèles de langage de grande taille. Ce modèle non censuré présente plusieurs changements notables, notamment un vocabulaire étendu, la prise en charge native de l'appel de fonction et un tokenizer mis à jour.

L'un des points forts de ce modèle est sa capacité à s'engager dans l'appel de fonction, ce qui lui permet de tirer parti d'outils et de ressources externes pour améliorer ses capacités. L'exemple présenté dans la transcription montre comment le modèle peut utiliser une fonction "obtenir la météo actuelle" pour fournir des informations météorologiques précises pour un emplacement donné.

Bien que les performances du modèle sur diverses tâches semblent être à la hauteur du modèle Mistral 7B précédent, l'introduction de la fonctionnalité d'appel de fonction le distingue et ouvre de nouvelles possibilités pour son application. La transcription souligne également la capacité du modèle à gérer des tâches nécessitant un raisonnement en plusieurs étapes, comme le problème de la porte en verre, qu'il a résolu efficacement.

Cependant, les réponses du modèle sur certains sujets sensibles, comme le fait de s'introduire dans une voiture, mettent en évidence la nécessité de prendre en compte les implications éthiques de tels modèles. L'inclusion d'un avertissement concernant l'utilisation de ces informations à des fins illégales dans la transcription est une approche louable.

Dans l'ensemble, le modèle Mistral 7B V3 représente une avancée significative dans le développement des modèles de langage de grande taille, avec ses capacités d'appel de fonction étant une fonctionnalité particulièrement remarquable. Comme le suggère l'auteur, une exploration plus approfondie de ce modèle, y compris l'affinage et l'intégration avec le projet Local GPT, sera un domaine passionnant à explorer pour l'avenir.