La última versión del modelo Mistral 7B, versión 3, trae cambios y mejoras significativos. A diferencia de las versiones anteriores, este modelo se ha lanzado directamente en Hugging Face, lo que lo hace más accesible. Si bien se espera que el rendimiento sea similar al del modelo Mistral 7B, hay algunas actualizaciones destacadas.

El cambio más notable es que este es un modelo completamente sin censura, con un vocabulario extendido de unos cientos de tokens. Esta expansión está relacionada con su capacidad para admitir llamadas de función de forma nativa, una nueva característica introducida en esta versión. Además, el tokenizador se ha actualizado para adaptarse a estos cambios.

El modelo mantiene la misma ventana de contexto de 32,000 tokens, y el paquete de inferencia de Mistral Python se ha actualizado para permitir una inferencia sin problemas en este modelo. Este paquete proporciona una forma sencilla de instalar, descargar y ejecutar el modelo, como se demuestra en el cuaderno de Python proporcionado.

La naturaleza sin censura del modelo le permite generar respuestas sobre una amplia gama de temas, incluidos temas potencialmente sensibles o controvertidos. Sin embargo, incluye los descargos de responsabilidad apropiados para garantizar que la información no se use indebidamente para actividades ilegales.

El rendimiento del modelo en varias tareas, como responder preguntas basadas en la lógica, muestra sus impresionantes capacidades. También demuestra fuertes habilidades de programación, incluida la capacidad de generar código HTML e integrar herramientas externas a través de su función de llamada.

En general, el modelo Mistral v3 representa un paso importante hacia adelante, ofreciendo a los usuarios acceso a un poderoso modelo de lenguaje sin censura con funcionalidad mejorada. Sus posibles aplicaciones abarcan una amplia gama de dominios, y se recomienda encarecidamente explorar más a fondo sus capacidades.

Para comenzar con el último modelo Mistral 7B v3, recorreremos el proceso de instalación y configuración paso a paso:

1. Instalar el paquete de inferencia de Mistral: La forma recomendada de ejecutar la inferencia en el modelo Mistral 7B v3 es mediante el uso del paquete de inferencia de Mistral Python. Puedes instalarlo usando pip:

   pip install mistral-inference
   

2. Descargar el modelo: Definiremos la ruta donde queremos descargar el modelo y verificaremos si existe el directorio. Si no, lo crearemos. Luego, usaremos la función snapshot_download del Hugging Face Hub para descargar los archivos del modelo:

   model_path = 'path/to/mistral-7b-v3'
   if not os.path.exists(model_path):
       os.makedirs(model_path)
   
   model_repo_id = 'mosaicml/mistral-7b-v3'
   model = snapshot_download(model_repo_id, cache_dir=model_path)
   

   Esto descargará los archivos del modelo en el directorio especificado, lo que puede tardar unos minutos dependiendo de la velocidad de tu conexión a Internet.

3. Ejecutar la inferencia en la CLI: Puedes usar el comando mral chat para ejecutar el modelo en la interfaz de línea de comandos (CLI). Esto te permitirá proporcionar un mensaje y generar una respuesta:

   mral chat path/to/mistral-7b-v3 --instruct --max_new_tokens 256
   

   Cuando se te solicite, ingresa un mensaje y el modelo generará una respuesta.

4. Usar el modelo en Python: En tu código de Python, puedes usar el paquete de inferencia de Mistral para cargar el modelo y generar respuestas de forma programática:

   from mistral_inference import Transformer, ChatCompletionRequest
   
   model = Transformer.from_pretrained(model_path)
   tokenizer = Transformer.from_pretrained(model_path, subfolder='tokenizer')
   
   def generate_response(model, tokenizer, user_query):
       chat_request = ChatCompletionRequest(user_query)
       output_tokens = model.generate(chat_request.input_ids, max_new_tokens=1024, eos_token_id=tokenizer.eos_token_id)
       output_text = tokenizer.decode(output_tokens[0], skip_special_tokens=True)
       return output_text
   
   user_query = "Hello, how are you?"
   response = generate_response(model, tokenizer, user_query)
   print(response)
   

Esto cubre los pasos esenciales para comenzar con el modelo Mistral 7B v3. Ahora puedes explorar las capacidades del modelo, probarlo con varios mensajes e incluso ajustarlo a tus propios datos en pasos posteriores.

La última versión del modelo Mistral 7B, versión 3, trae varios cambios notables. A diferencia de las versiones anteriores, este modelo se ha lanzado directamente en Hugging Face, en lugar de proporcionar solo enlaces magnéticos. Si bien se espera que el rendimiento sea similar al del modelo Mistral 7B, hay algunas actualizaciones destacadas.

El modelo ahora es completamente sin censura, con un vocabulario extendido de unos cientos de tokens adicionales. Esta expansión está relacionada con su mejor capacidad para realizar llamadas de función, que ahora se admite de forma nativa. El tokenizador también se ha actualizado para adaptarse a estos cambios.

Para comenzar con el nuevo modelo Mistral 7B v3, recorreremos la instalación del paquete de inferencia de Mistral Python, la descarga del modelo y la ejecución de consultas iniciales. Exploraremos las capacidades del modelo, incluida su capacidad para generar respuestas a varios mensajes, manejar temas sensibles y demostrar sus habilidades de razonamiento.

Una de las características más impresionantes de este modelo es su nueva capacidad de llamada de función. Profundizaremos en un ejemplo de cómo el modelo puede utilizar una herramienta personalizada de "obtener clima actual" para proporcionar información meteorológica para una ubicación determinada, mostrando su versatilidad para integrar funcionalidades externas.

En general, el modelo Mistral 7B v3 presenta una evolución emocionante en el mundo de los modelos de lenguaje a gran escala, con sus capacidades ampliadas y el potencial para un mayor ajuste fino e integración con diversas aplicaciones.

La última versión del modelo Mistral 7B, versión 3, introduce un avance significativo: la capacidad de admitir llamadas de función de forma nativa. Esta característica permite que el modelo aproveche herramientas y API externas para mejorar sus capacidades, yendo más allá de las limitaciones tradicionales de los modelos de lenguaje.

Uno de los aspectos destacados de Mistral v3 es su vocabulario extendido, que ahora incluye varios cientos de tokens adicionales. Esta expansión está directamente relacionada con la funcionalidad de llamada de función del modelo, lo que le permite integrarse y utilizar recursos externos de manera fluida.

Para demostrar esta capacidad, recorreremos un ejemplo en el que se le pide al modelo que recupere el clima actual de una ubicación específica. Se le proporciona una lista de herramientas disponibles, incluida una función "get_current_weather" que toma la ubicación y el formato de temperatura como parámetros de entrada.

Cuando se le solicita una consulta como "¿Cómo está el tiempo hoy en París?", el modelo reconoce la necesidad de utilizar la herramienta externa y genera la llamada de función apropiada. Identifica correctamente a París como la ubicación y determina que Celsius es el formato de temperatura adecuado según el contexto.

De manera similar, cuando la consulta se cambia a "¿Cómo está el tiempo hoy en San Francisco?", el modelo se adapta y genera la llamada de función con la ubicación y el formato de temperatura correctos.

Este mecanismo de llamada de función se extiende más allá de las simples consultas meteorológicas. El modelo también puede manejar tareas más complejas, como realizar cálculos matemáticos o acceder a otros tipos de datos y servicios.

La integración de la llamada de función representa un paso importante en las capacidades de los modelos de lenguaje a gran escala. Al liberarse de las limitaciones de una base de conocimientos cerrada, Mistral v3 puede aprovechar dinámicamente los recursos externos para proporcionar respuestas más completas y personalizadas a las consultas de los usuarios.

A medida que exploremos todo el potencial de la avanzada función de llamada de Mistral v3, podemos esperar ver aún más aplicaciones y casos de uso innovadores, ampliando los límites de lo que es posible con los modelos de lenguaje de vanguardia.

El lanzamiento del modelo Mistral 7B V3 por parte del equipo de MRO es un desarrollo significativo en el mundo de los modelos de lenguaje a gran escala. Este modelo sin censura cuenta con varios cambios notables, incluido un vocabulario ampliado, soporte nativo para llamadas de función y un tokenizador actualizado.

Uno de los aspectos destacados de este modelo es su capacidad para realizar llamadas de función, lo que le permite aprovechar herramientas y recursos externos para mejorar sus capacidades. El ejemplo presentado en la transcripción demuestra cómo el modelo puede utilizar una función "obtener clima actual" para proporcionar información meteorológica precisa para una ubicación determinada.

Si bien el rendimiento del modelo en varias tareas parece estar a la par con el modelo Mistral 7B anterior, la introducción de la función de llamada lo distingue y abre nuevas posibilidades para su aplicación. La transcripción también resalta la capacidad del modelo para manejar tareas que requieren razonamiento de varios pasos, como el problema de la puerta de vidrio, que resolvió de manera efectiva.

Sin embargo, las respuestas del modelo sobre ciertos temas sensibles, como irrumpir en un automóvil, resaltan la necesidad de considerar cuidadosamente las implicaciones éticas de dichos modelos. La inclusión de un descargo de responsabilidad en la transcripción con respecto al uso de esta información para actividades ilegales es un enfoque encomiable.

En general, el modelo Mistral 7B V3 representa un paso importante en el desarrollo de modelos de lenguaje a gran escala, siendo la capacidad de llamada de función una característica particularmente notable. Como sugiere el autor, la exploración adicional de este modelo, incluido el ajuste fino y la integración con el proyecto Local GPT, será un área emocionante de enfoque para el futuro.