Il Wizard LM-2 è una pietra miliare significativa nel mondo dei modelli di linguaggio su larga scala (LLM). Questo modello open-source ha dimostrato prestazioni altamente competitive rispetto a opere proprietarie avanzate come GPT-4 e Claude sul MT Benchmark, che misura la capacità degli LLM di impegnarsi in conversazioni coerenti, informative e coinvolgenti.

Il modello Wizard LM-2 è una versione affinata e preferenzialmente addestrata del modello Megatron-Turing NLG 22B. È stato migliorato in termini di prestazioni su compiti complessi, inclusi chat, codifica, ragionamento multilingue e applicazioni basate su agenti.

La famiglia Wizard LM include ora tre nuovi modelli: Wizard LM-2 22B, il modello da 70B parametri e il modello da 7B parametri. Il modello Wizard LM-2 22B si è affermato come il più avanzato, eccellendo nelle prestazioni di compiti complessi, mentre il modello da 70B mostra capacità di ragionamento di prim'ordine e il modello da 7B si distingue per la sua velocità e prestazioni competitive.

Il team dietro Wizard LM ha impiegato diversi metodi avanzati per sviluppare il modello Wizard LM-2:

1. Preprocessamento dei dati: Hanno analizzato e distribuito diversi attributi nelle nuove fonti di dati per ottenere una comprensione iniziale dei dati. Hanno utilizzato un campionamento ponderato per regolare l'importanza di vari attributi nei dati di addestramento in base all'esperienza sperimentale.

2. Apprendimento progressivo: Il processo di addestramento è stato suddiviso in diverse fasi, con più fette di dati alimentate a ogni fase. Ciò consente l'evoluzione di coppie istruzione-risposta diverse.

3. Framework AI-Aligned AI (AAA): Più LLM sono raggruppati per insegnarsi e migliorarsi a vicenda in modo ottimizzato attraverso l'apprendimento supervisionato e l'apprendimento per rinforzo.

4. Evol-Instruct: Questo componente genera autonomamente istruzioni di alta qualità e le formatta attraverso più iterazioni, migliorando la logica complessiva, la correttezza e la coerenza delle risposte del modello.

Il modello Wizard LM-2 ha dimostrato prestazioni altamente competitive rispetto ai modelli di linguaggio proprietari avanzati come GPT-4 Turbo e CLA-3 sul MT Benchmark, che misura la capacità di impegnarsi in conversazioni coerenti, informative e coinvolgenti.

Il team dietro Wizard LM ha condotto valutazioni sia umane che automatiche per valutare le capacità del modello. Nella valutazione della preferenza umana, hanno raccolto un insieme diversificato di istruzioni del mondo reale che coprono scrittura, codifica, matematica, ragionamento, compiti basati su agenti e comprensione multilingue. Gli annotatori hanno eseguito confronti a coppie in cieco tra Wizard LM-2 e i modelli di riferimento, con le fonti delle risposte nascoste.

I risultati indicano che Wizard LM-2 sta superando costantemente i modelli esistenti all'avanguardia, inclusi altri modelli open-source. Sul MT Benchmark, il modello ha dimostrato prestazioni altamente competitive, anche rispetto alle principali opere proprietarie.

Per iniziare con il modello Wizard LM-2, dovrai utilizzare la piattaforma LM Studio. Innanzitutto, vai alla scheda del modello e copia le informazioni per uno dei tre modelli disponibili: Wizard LM-2 AX 22B, Wizard LM 70B o Wizard LM 7B.

Successivamente, apri LM Studio e vai alla scheda di ricerca. Incolla le informazioni della scheda del modello e premi invio. Vedrai le varie versioni del modello Wizard LM-2 disponibili.

Per installare il modello, basta scaricare la versione che vuoi utilizzare. Una volta scaricato, puoi passare alla scheda conversazione in LM Studio e selezionare il modello Wizard LM-2 per iniziare a chattare con esso.

L'introduzione di Wizard LM2 rappresenta una pietra miliare significativa nello sviluppo dei modelli di linguaggio su larga scala. Questo modello avanzato ha dimostrato prestazioni altamente competitive rispetto alle principali opere proprietarie, eccellendo nelle prestazioni di compiti complessi, nelle capacità di ragionamento di prim'ordine e nella velocità competitiva.

Il team dietro Wizard LM ha impiegato tecniche innovative, come il campionamento ponderato, l'apprendimento progressivo e i framework AI-aligned AI, per migliorare le capacità del modello. L'incorporazione di Evol-instruct, che genera e distribuisce autonomamente istruzioni di alta qualità, ha ulteriormente migliorato la logica, la correttezza e la coerenza del modello.