La versione più recente del modello Mistral 7B, versione 3, porta cambiamenti e miglioramenti significativi. A differenza delle versioni precedenti, questo modello è stato rilasciato direttamente su Hugging Face, rendendolo più accessibile. Mentre le prestazioni dovrebbero essere simili al modello Mistral 7B, ci sono alcuni aggiornamenti importanti.

Il cambiamento più notevole è che si tratta di un modello completamente non censurato, con un vocabolario esteso di alcune centinaia di token. Questa espansione è legata alla sua capacità di supportare nativamente la chiamata di funzioni, una nuova funzionalità introdotta in questa versione. Inoltre, il tokenizer è stato aggiornato per adattarsi a questi cambiamenti.

Il modello mantiene la stessa finestra di contesto di 32.000 token e il pacchetto Python Mistral Inference è stato aggiornato per consentire un'inferenza senza soluzione di continuità su questo modello. Questo pacchetto fornisce un modo semplice per installare, scaricare ed eseguire il modello, come dimostrato nel notebook Python fornito.

La natura non censurata del modello gli consente di generare risposte su un'ampia gamma di argomenti, inclusi argomenti potenzialmente sensibili o controversi. Tuttavia, include avvisi appropriati per garantire che le informazioni non vengano utilizzate impropriamente per attività illegali.

Le prestazioni del modello su vari compiti, come rispondere a domande basate sulla logica, ne dimostrano le impressionanti capacità. Dimostra anche forti abilità di programmazione, inclusa la capacità di generare codice HTML e integrare strumenti esterni attraverso la sua funzionalità di chiamata di funzioni.

Complessivamente, il modello Mistral v3 rappresenta un passo importante in avanti, offrendo agli utenti l'accesso a un potente modello di linguaggio non censurato con funzionalità migliorate. Le sue potenziali applicazioni spaziano in un'ampia gamma di domini e si incoraggia vivamente l'ulteriore esplorazione delle sue capacità.

Per iniziare con il modello Mistral 7B v3 più recente, percorreremo il processo di installazione e configurazione passo dopo passo:

1. Installa il pacchetto Mistral Inference: Il modo consigliato per eseguire l'inferenza sul modello Mistral 7B v3 è utilizzando il pacchetto Python Mistral Inference. Puoi installarlo usando pip:

   pip install mistral-inference
   

2. Scarica il modello: Definiremo il percorso in cui vogliamo scaricare il modello e verificheremo se la directory esiste. In caso contrario, la creeremo. Quindi, utilizzeremo la funzione snapshot_download dall'Hugging Face Hub per scaricare i file del modello:

   model_path = 'path/to/mistral-7b-v3'
   if not os.path.exists(model_path):
       os.makedirs(model_path)
   
   model_repo_id = 'mosaicml/mistral-7b-v3'
   model = snapshot_download(model_repo_id, cache_dir=model_path)
   

   Questo scaricherà i file del modello nella directory specificata, il che potrebbe richiedere alcuni minuti a seconda della velocità della tua connessione Internet.

3. Esegui l'inferenza nella CLI: Puoi utilizzare il comando mral chat per eseguire il modello nell'interfaccia a riga di comando (CLI). Questo ti permetterà di fornire un prompt e generare una risposta:

   mral chat path/to/mistral-7b-v3 --instruct --max_new_tokens 256
   

   Quando richiesto, inserisci un messaggio e il modello genererà una risposta.

4. Utilizza il modello in Python: Nel tuo codice Python, puoi utilizzare il pacchetto Mistral Inference per caricare il modello e generare risposte in modo programmatico:

   from mistral_inference import Transformer, ChatCompletionRequest
   
   model = Transformer.from_pretrained(model_path)
   tokenizer = Transformer.from_pretrained(model_path, subfolder='tokenizer')
   
   def generate_response(model, tokenizer, user_query):
       chat_request = ChatCompletionRequest(user_query)
       output_tokens = model.generate(chat_request.input_ids, max_new_tokens=1024, eos_token_id=tokenizer.eos_token_id)
       output_text = tokenizer.decode(output_tokens[0], skip_special_tokens=True)
       return output_text
   
   user_query = "Hello, how are you?"
   response = generate_response(model, tokenizer, user_query)
   print(response)
   

Questo copre i passaggi essenziali per iniziare con il modello Mistral 7B v3. Ora puoi esplorare le capacità del modello, testarlo con vari prompt e persino eseguirne il fine-tuning sui tuoi dati in passaggi successivi.