O Wizard LM-2 é um marco significativo no mundo dos modelos de linguagem de grande porte (LLMs). Este modelo de código aberto demonstrou um desempenho altamente competitivo em comparação com trabalhos proprietários avançados como o GPT-4 e o Claude no MT Benchmark, que mede a capacidade dos LLMs de se envolver em conversas coerentes, informativas e envolventes.

O modelo Wizard LM-2 é uma versão refinada e treinada com preferência do modelo Megatron-Turing NLG 22B. Ele foi aprimorado em termos de desempenho em tarefas complexas, incluindo bate-papo, codificação, raciocínio multilíngue e aplicações baseadas em agentes.

A família Wizard LM agora inclui três novos modelos: o Wizard LM-2 22B, o modelo de 70B parâmetros e o modelo de 7B parâmetros. O modelo Wizard LM-2 22B se destacou como o mais avançado, brilhando no desempenho de tarefas complexas, enquanto o modelo de 70B apresenta capacidades de raciocínio de ponta e o modelo de 7B se destaca por sua velocidade e desempenho competitivo.

A equipe por trás do Wizard LM empregou vários métodos avançados para desenvolver o modelo Wizard LM-2:

1. Pré-processamento de dados: Eles analisaram e distribuíram diferentes atributos nas novas fontes de dados para obter uma compreensão inicial dos dados. Eles usaram amostragem ponderada para ajustar a importância de vários atributos nos dados de treinamento com base na experiência experimental.

2. Aprendizado Progressivo: O processo de treinamento foi dividido em diferentes estágios, com mais fatias de dados sendo alimentadas em cada estágio. Isso permite a evolução de pares de instruções-respostas diversificados.

3. Estrutura AI-Aligned AI (AAA): Vários LLMs são agrupados para ensinar e melhorar uns aos outros de maneira otimizada por meio de aprendizado supervisionado e aprendizado por reforço.

4. Evol-Instruct: Este componente gera autonomamente instruções de alta qualidade e as formata por meio de várias iterações, melhorando a lógica, a correção e a coerência geral das respostas do modelo.

O modelo Wizard LM-2 demonstrou um desempenho altamente competitivo em comparação com modelos de linguagem proprietários líderes como o GPT-4 Turbo e o CLA-3 no MT Benchmark, que mede a capacidade de se envolver em conversas coerentes, informativas e envolventes.

A equipe por trás do Wizard LM realizou avaliações humanas e automáticas para avaliar as capacidades do modelo. Na avaliação de preferência humana, eles coletaram um conjunto diversificado de instruções do mundo real, abrangendo escrita, codificação, matemática, raciocínio, tarefas de agente e compreensão multilíngue. Os anotadores realizaram comparações pareadas às cegas entre o Wizard LM-2 e os modelos de referência, com as fontes das respostas ocultas.

Os resultados indicam que o Wizard LM-2 está consistentemente superando os modelos de ponta existentes, incluindo outros modelos de código aberto. No MT Benchmark, o modelo demonstrou um desempenho altamente competitivo, mesmo em comparação com os principais trabalhos proprietários.

Para começar a usar o modelo Wizard LM-2, você precisará usar a plataforma LM Studio. Primeiro, vá até o cartão do modelo e copie as informações para um dos três modelos disponíveis: Wizard LM-2 AX 22B, Wizard LM 70B ou Wizard LM 7B.

Em seguida, abra o LM Studio e vá até a guia de pesquisa. Cole as informações do cartão do modelo e clique em enter. Você verá as várias versões do modelo Wizard LM-2 disponíveis.

Para instalar o modelo, basta baixar a versão que você deseja usar. Depois de baixado, você pode ir para a guia de conversa no LM Studio e selecionar o modelo Wizard LM-2 para começar a conversar com ele.

A introdução do Wizard LM2 representa um marco significativo no desenvolvimento de modelos de linguagem de grande porte. Este modelo avançado demonstrou um desempenho altamente competitivo em comparação com os principais trabalhos proprietários, destacando-se no desempenho de tarefas complexas, nas capacidades de raciocínio de ponta e na velocidade competitiva.

A equipe por trás do Wizard LM empregou técnicas inovadoras, como amostragem ponderada, aprendizado progressivo e estruturas de IA alinhadas à IA, para aprimorar as capacidades do modelo. A incorporação do Evol-instruct, que gera e distribui autonomamente instruções de alta qualidade, melhorou ainda mais a lógica, a correção e a coerência do modelo.