O Codestral Mamba é um novo modelo de linguagem de grande porte lançado pela Mistol AI, com mais de 7 bilhões de parâmetros. Este modelo focado em codificação é baseado na arquitetura Mamba e está disponível sob a licença Patchy 2.0, permitindo o uso comercial.

Um dos recursos-chave do Codestral Mamba é sua grande janela de contexto de 256k tokens, significativamente maior do que o modelo Mistol de 7 bilhões de parâmetros. Isso permite inferência mais rápida em tarefas de contexto maior, tornando-o uma ferramenta poderosa para aplicações relacionadas a código.

Enquanto modelos menores, como o modelo Mistol de 7 bilhões de parâmetros, podem não corresponder ao desempenho de modelos maiores, o Codestral Mamba oferece velocidades de inferência mais rápidas e custos de computação mais baixos. Em benchmarks de avaliação humana, o Codestral Mamba pontuou 75%, superando modelos maiores como o GPT-4 Omni.

A Mistol AI também lançou outro modelo, o modelo Mistol de 7 bilhões de parâmetros, que é atualmente o melhor modelo de código aberto baseado em matemática. O modelo Codestral Mamba de 7 bilhões de parâmetros também alcança uma das melhores pontuações entre os modelos em sua faixa.

Depois do lançamento da família Mistol, o Codestral Mamba representa outro passo em seu esforço para explorar e fornecer uma nova arquitetura. É uma nova família que se concentra mais nos aspectos de codificação e está disponível gratuitamente, permitindo que você a modifique e distribua. Este modelo foi projetado com a ajuda de Albert Goo e TR da, e difere dos modelos Transformer por oferecer inferência em tempo linear e o potencial de modelar conteúdo sequencial e de comprimento infinito, tornando-o mais eficiente para o envolvimento extensivo do usuário e respostas mais rápidas.

O modelo Codestral Mamba foi treinado com capacidades avançadas de código e raciocínio, permitindo que ele se desempenhe no mesmo nível que os modelos Transformer de ponta. Em termos de métricas de desempenho, este modelo de 7 bilhões de parâmetros supera modelos como Codegamma, Codelama 7B e DeepSeed versão 1.5 7B na maioria dos benchmarks. Embora possa não superar o maior modelo Codestral de 22 bilhões de parâmetros, ele está relativamente próximo e até mesmo faz um trabalho decente em comparação com o modelo Codelama de 34 bilhões de parâmetros da Meta AI.

Um recurso notável do Codestral Mamba é sua capacidade de lidar com janelas de contexto de até 256k tokens, tornando-o altamente eficaz como um assistente de código local. Você pode implantar o Codestral Mamba usando várias plataformas, incluindo o SDK de inferência Mistol, o modelo de linguagem grande TensorRT da NVIDIA e o suporte futuro para LLaMA CPP. Além disso, você pode baixar os pesos brutos do Hugging Face.

Existem várias maneiras de acessar e utilizar o modelo Codestral Mamba:

1. Plataforma Mistol AI: Você pode solicitar acesso ao modelo Codestral Mamba através da plataforma Mistol AI. Após verificar seu número de telefone, você poderá acessar a chave da API e usar o modelo de várias maneiras.

2. Chat Mistol AI: A interface de chat da Mistol AI permite que você acesse todos os seus modelos, incluindo o modelo Codestral Mamba. Nas próximas 24 horas, você deverá poder selecionar o modelo Codestral Mamba e começar a conversar com ele.

3. Instalação Local: Para instalar o modelo Codestral Mamba localmente, você pode usar ferramentas como o LLM Studio. O LLM Studio facilita a execução de modelos de linguagem de grande porte de código aberto localmente. Depois de instalado, você pode carregar o modelo Codestral Mamba e começar a interagir com ele na interface de bate-papo.

4. SDK de Inferência Mistol: A Mistol AI fornece um SDK de inferência que você pode usar para implantar o modelo Codestral Mamba. Este SDK se baseia na implementação de referência do repositório do GitHub deles.

5. NVIDIA Tensor RT: Você também pode implantar o modelo Codestral Mamba usando o modelo de linguagem grande NVIDIA's Tensor RT.

6. LLaMA CPP: A Mistol AI lançou recentemente suporte para LLaMA CPP, que permite que você use os pesos brutos do modelo Codestral Mamba que podem ser baixados do Hugging Face.

O modelo Cod Strol Mamba representa um avanço significativo no campo dos modelos de linguagem de grande porte, particularmente no domínio das capacidades de codificação e raciocínio. Com seus 7 bilhões de parâmetros, o modelo supera muitos de seus homólogos menores em vários benchmarks, demonstrando seu impressionante desempenho.

Um dos destaques-chave do Cod Strol Mamba é sua capacidade de lidar com o envolvimento extensivo do usuário e fornecer respostas mais rápidas, graças à sua inferência em tempo linear e ao potencial de modelar conteúdo sequencial e de comprimento infinito. Isso o torna uma excelente escolha para aplicações que exigem processamento de linguagem eficiente e responsivo, como ferramentas de produtividade de código e assistentes de código locais.

A disponibilidade do modelo sob a licença Pachi 2.0, que permite o uso comercial, também aumenta sua acessibilidade e potencial para aplicações do mundo real. Além disso, as várias opções de implantação, incluindo o SDK de inferência Mistol, o TensorRT da NVIDIA e o suporte futuro para llama-cpp, fornecem aos desenvolvedores flexibilidade para integrar o Cod Strol Mamba em seus projetos.

Em geral, o Cod Strol Mamba é uma adição promissora à família Mistol AI, oferecendo uma nova abordagem arquitetônica focada em capacidades de codificação e raciocínio. À medida que o modelo se torna mais amplamente disponível, será emocionante ver como ele será aproveitado por desenvolvedores e pesquisadores para impulsionar os limites das aplicações baseadas em linguagem.