El Codestral Mamba es un nuevo modelo de lenguaje a gran escala lanzado por Mistol AI, que cuenta con más de 7 mil millones de parámetros. Este modelo centrado en la codificación se basa en la arquitectura Mamba y está disponible bajo la licencia Patchy 2.0, lo que permite su uso comercial.

Una de las características clave del Codestral Mamba es su gran ventana de contexto de 256k tokens, que es significativamente más grande que el modelo Mistol de 7 mil millones de parámetros. Esto permite una inferencia más rápida en tareas de contexto más grandes, convirtiéndolo en una herramienta poderosa para aplicaciones relacionadas con el código.

Mientras que los modelos más pequeños como el modelo Mistol de 7 mil millones de parámetros pueden no igualar el rendimiento de los modelos más grandes, el Codestral Mamba ofrece velocidades de inferencia más rápidas y costos de cálculo más bajos. En los puntos de referencia de evaluación humana, el Codestral Mamba obtuvo un 75%, superando a modelos más grandes como GPT-4 Omni.

Mistol AI también ha lanzado otro modelo, el modelo Mistol de 7 mil millones de parámetros, que actualmente es el mejor modelo de código abierto basado en matemáticas. El modelo Codestral Mamba de 7 mil millones de parámetros también logra uno de los mejores puntajes entre los modelos de su rango.

Siguiendo el lanzamiento de la familia Mistol, Codestral Mamba representa otro paso en su esfuerzo por explorar y proporcionar una nueva arquitectura. Es una nueva familia que se enfoca más en los aspectos de codificación y está disponible de forma gratuita, lo que le permite modificarla y distribuirla. Este modelo fue diseñado con la ayuda de Albert Goo y TR da, y se diferencia de los modelos Transformer al ofrecer una inferencia de tiempo lineal y el potencial de modelar contenido secuencial e de longitud infinita, lo que lo hace más eficiente para un compromiso extensivo del usuario y respuestas más rápidas.

El modelo Codestral Mamba se entrenó con capacidades avanzadas de código y razonamiento, lo que le permite rendir al nivel de los modelos Transformer de vanguardia. En términos de métricas de rendimiento, este modelo de 7 mil millones de parámetros supera a modelos como Codegamma, Codelama 7B y DeepSeed versión 1.5 7B en la mayoría de los puntos de referencia. Si bien puede que no supere al modelo Codestral más grande de 22 mil millones de parámetros, está relativamente cerca e incluso hace un trabajo decente en comparación con el modelo Codelama de 34 mil millones de parámetros de Meta AI.

Una característica notable del Codestral Mamba es su capacidad para manejar ventanas de contexto de hasta 256k tokens, lo que lo convierte en un asistente de código local muy efectivo. Puede implementar Codestral Mamba utilizando varias plataformas, incluido el SDK de inferencia de Mistol, TensorRT de NVIDIA para modelos de lenguaje a gran escala y el próximo soporte para LLaMA CPP. Además, puede descargar los pesos brutos de Hugging Face.

Hay varias formas de acceder y utilizar el modelo Codestral Mamba:

1. Plataforma Mistol AI: Puede solicitar acceso al modelo Codestral Mamba a través de la plataforma Mistol AI. Después de verificar su número de teléfono, podrá acceder a la clave API y usar el modelo de varias maneras.

2. Chat de Mistol AI: La interfaz de chat de Mistol AI le permite acceder a todos sus modelos, incluido el modelo Codestral Mamba. Dentro de las próximas 24 horas, debería poder seleccionar el modelo Codestral Mamba y comenzar a chatear con él.

3. Instalación local: Para instalar el modelo Codestral Mamba localmente, puede usar herramientas como LLM Studio. LLM Studio facilita la ejecución de modelos de lenguaje a gran escala de código abierto de forma local. Una vez instalado, puede cargar el modelo Codestral Mamba y comenzar a interactuar con él en la interfaz de chat.

4. SDK de inferencia de Mistol: Mistol AI proporciona un SDK de inferencia que puede usar para implementar el modelo Codestral Mamba. Este SDK se basa en la implementación de referencia de su repositorio de GitHub.

5. NVIDIA Tensor RT: También puede implementar el modelo Codestral Mamba usando el modelo de lenguaje a gran escala NVIDIA's Tensor RT.

6. LLaMA CPP: Mistol AI ha lanzado recientemente soporte para LLaMA CPP, lo que le permite usar los pesos brutos del modelo Codestral Mamba que se pueden descargar de Hugging Face.

El modelo Cod Strol Mamba representa un avance significativo en el campo de los modelos de lenguaje a gran escala, particularmente en el ámbito de las capacidades de codificación y razonamiento. Con sus 7 mil millones de parámetros, el modelo supera a muchos de sus homólogos más pequeños en varios puntos de referencia, mostrando su impresionante rendimiento.

Uno de los aspectos destacados del Cod Strol Mamba es su capacidad para manejar un compromiso extensivo del usuario y proporcionar respuestas más rápidas, gracias a su inferencia de tiempo lineal y su potencial para modelar contenido secuencial e de longitud infinita. Esto lo convierte en una excelente opción para aplicaciones que requieren un procesamiento de lenguaje eficiente y receptivo, como herramientas de productividad de código y asistentes de código locales.

La disponibilidad del modelo bajo la licencia Pachi 2.0, que permite el uso comercial, también mejora su accesibilidad y su potencial para aplicaciones del mundo real. Además, las diversas opciones de implementación, que incluyen el SDK de inferencia de Mistol, el TensorRT de NVIDIA y el próximo soporte para llama-cpp, brindan a los desarrolladores flexibilidad para integrar el Cod Strol Mamba en sus proyectos.

En general, el Cod Strol Mamba es una adición prometedora a la familia Mistol AI, que ofrece un nuevo enfoque arquitectónico centrado en las capacidades de codificación y razonamiento. A medida que el modelo se vuelva más ampliamente disponible, será emocionante ver cómo los desarrolladores e investigadores lo aprovechan para impulsar los límites de las aplicaciones basadas en el lenguaje.