Le Codestral Mamba est un nouveau modèle de langage de grande taille publié par Mistol AI, avec plus de 7 milliards de paramètres. Ce modèle axé sur le codage est basé sur l'architecture Mamba et est disponible sous la licence Patchy 2.0, permettant une utilisation commerciale.

L'une des principales caractéristiques du Codestral Mamba est sa grande fenêtre de contexte de 256k tokens, beaucoup plus importante que le modèle Mistol de 7 milliards de paramètres. Cela permet une inférence plus rapide sur les tâches de contexte plus importantes, en faisant un outil puissant pour les applications liées au code.

Bien que les modèles plus petits comme le modèle Mistol de 7 milliards de paramètres ne puissent pas égaler les performances des modèles plus importants, le Codestral Mamba offre des vitesses d'inférence plus rapides et des coûts de calcul plus faibles. Dans les benchmarks d'évaluation humaine, le Codestral Mamba a obtenu un score de 75%, surpassant des modèles plus importants comme GPT-4 Omni.

Mistol AI a également publié un autre modèle, le modèle Mistol de 7 milliards de paramètres, qui est actuellement le meilleur modèle open-source basé sur les mathématiques. Le modèle Codestral Mamba de 7 milliards de paramètres obtient également l'un des meilleurs scores parmi les modèles de sa gamme.

Suite à la sortie de la famille Mistol, le Codestral Mamba représente une autre étape dans leurs efforts pour explorer et fournir une nouvelle architecture. C'est une nouvelle famille qui se concentre davantage sur les aspects de codage et est disponible gratuitement, vous permettant de la modifier et de la distribuer. Ce modèle a été conçu avec l'aide d'Albert Goo et TR da, et il se différencie des modèles Transformer en offrant une inférence en temps linéaire et la possibilité de modéliser des séquences ainsi que des longueurs infinies, le rendant plus efficace pour un engagement utilisateur étendu et des réponses plus rapides.

Le modèle Codestral Mamba a été entraîné avec des capacités de codage et de raisonnement avancées, lui permettant de performer au niveau des modèles Transformer de pointe. En termes de métriques de performance, ce modèle de 7 milliards de paramètres surpasse des modèles tels que Codegamma, Codelama 7B et DeepSeed version 1.5 7B dans la majorité des benchmarks. Bien qu'il ne puisse pas surpasser le modèle Codestral plus important de 22 milliards de paramètres, il est relativement proche et fait même un travail décent par rapport au modèle Codelama de 34 milliards de paramètres de Meta AI.

Une caractéristique notable du Codestral Mamba est sa capacité à gérer des fenêtres de contexte allant jusqu'à 256k tokens, le rendant très efficace en tant qu'assistant de code local. Vous pouvez déployer le Codestral Mamba à l'aide de diverses plateformes, notamment le SDK d'inférence Mistol, TensorRT de NVIDIA pour les modèles de langage de grande taille, et le support à venir pour LLaMA CPP. De plus, vous pouvez télécharger les poids bruts depuis Hugging Face.

Il existe plusieurs façons d'accéder et d'utiliser le modèle Codestral Mamba :

1. Plateforme Mistol AI : Vous pouvez demander l'accès au modèle Codestral Mamba via la plateforme Mistol AI. Après avoir vérifié votre numéro de téléphone, vous pourrez accéder à la clé API et utiliser le modèle de diverses manières.

2. Chat Mistol AI : L'interface de chat de Mistol AI vous permet d'accéder à tous leurs modèles, y compris le modèle Codestral Mamba. Dans les 24 prochaines heures, vous devriez pouvoir sélectionner le modèle Codestral Mamba et commencer à discuter avec lui.

3. Installation locale : Pour installer le modèle Codestral Mamba localement, vous pouvez utiliser des outils comme LLM Studio. LLM Studio facilite l'exécution de modèles de langage de grande taille open-source en local. Une fois installé, vous pourrez charger le modèle Codestral Mamba et commencer à interagir avec lui dans l'interface de chat.

4. SDK d'inférence Mistol : Mistol AI fournit un SDK d'inférence que vous pouvez utiliser pour déployer le modèle Codestral Mamba. Ce SDK s'appuie sur l'implémentation de référence de leur dépôt GitHub.

5. NVIDIA Tensor RT : Vous pouvez également déployer le modèle Codestral Mamba à l'aide de NVIDIA's Tensor RT pour les modèles de langage de grande taille.

6. LLaMA CPP : Mistol AI a récemment publié un support pour LLaMA CPP, ce qui vous permet d'utiliser les poids bruts du modèle Codestral Mamba, téléchargeables depuis Hugging Face.

Le modèle Cod Strol Mamba représente une avancée significative dans le domaine des modèles de langage de grande taille, en particulier dans le domaine des capacités de codage et de raisonnement. Avec ses 7 milliards de paramètres, le modèle surpasse de nombreux de ses homologues plus petits dans divers benchmarks, démontrant ses performances impressionnantes.

L'un des points forts du Cod Strol Mamba est sa capacité à gérer un engagement utilisateur étendu et à fournir des réponses plus rapides, grâce à son inférence en temps linéaire et à sa capacité de modéliser des séquences ainsi que des longueurs infinies. Cela en fait un excellent choix pour les applications nécessitant un traitement du langage efficace et réactif, comme les outils de productivité de code et les assistants de code locaux.

La disponibilité du modèle sous la licence Pachi 2.0, qui autorise l'utilisation commerciale, renforce encore son accessibilité et son potentiel pour des applications réelles. De plus, les différentes options de déploiement, notamment le SDK d'inférence Mistol, TensorRT de NVIDIA et le support à venir pour llama-cpp, offrent aux développeurs une flexibilité pour intégrer le Cod Strol Mamba dans leurs projets.

Dans l'ensemble, le Cod Strol Mamba est un ajout prometteur à la famille Mistol AI, offrant une nouvelle approche architecturale axée sur les capacités de codage et de raisonnement. À mesure que le modèle deviendra plus largement disponible, il sera passionnant de voir comment il sera exploité par les développeurs et les chercheurs pour repousser les limites des applications basées sur le langage.