A última versão do modelo Mistral 7B, versão 3, traz mudanças e melhorias significativas. Diferente das versões anteriores, este modelo foi lançado diretamente no Hugging Face, tornando-o mais acessível. Embora o desempenho deva ser semelhante ao modelo Mistral 7B, há algumas atualizações proeminentes.

A mudança mais notável é que este é um modelo completamente não censurado, com um vocabulário estendido de algumas centenas de tokens. Essa expansão está relacionada à sua capacidade de suportar chamadas de função nativamente, um novo recurso introduzido nesta versão. Além disso, o tokenizador foi atualizado para acomodar essas mudanças.

O modelo mantém a mesma janela de contexto de 32.000 tokens, e o pacote Python Mistral Inference foi atualizado para permitir inferência perfeita neste modelo. Esse pacote fornece uma maneira simples de instalar, baixar e executar o modelo, conforme demonstrado no caderno Python fornecido.

A natureza não censurada do modelo permite que ele gere respostas em uma ampla gama de tópicos, incluindo assuntos potencialmente sensíveis ou controversos. No entanto, ele inclui avisos apropriados para garantir que as informações não sejam mal utilizadas para quaisquer atividades ilegais.

O desempenho do modelo em várias tarefas, como responder a perguntas baseadas em lógica, demonstra suas impressionantes capacidades. Ele também demonstra fortes habilidades de programação, incluindo a capacidade de gerar código HTML e integrar ferramentas externas por meio de seu recurso de chamada de função.

Em geral, o modelo Mistral v3 representa um passo significativo à frente, oferecendo aos usuários acesso a um poderoso modelo de linguagem não censurado com funcionalidade aprimorada. Suas potenciais aplicações abrangem uma ampla gama de domínios, e uma exploração mais aprofundada de suas capacidades é altamente encorajada.

Para começar com o último modelo Mistral 7B v3, vamos percorrer o processo de instalação e configuração passo a passo:

1. Instale o pacote Mistral Inference: A maneira recomendada de executar inferência no modelo Mistral 7B v3 é usando o pacote Python Mistral Inference. Você pode instalá-lo usando o pip:

   pip install mistral-inference
   

2. Baixe o modelo: Vamos definir o caminho onde queremos baixar o modelo e verificar se o diretório existe. Se não, vamos criá-lo. Em seguida, usaremos a função snapshot_download do Hugging Face Hub para baixar os arquivos do modelo:

   model_path = 'path/to/mistral-7b-v3'
   if not os.path.exists(model_path):
       os.makedirs(model_path)
   
   model_repo_id = 'mosaicml/mistral-7b-v3'
   model = snapshot_download(model_repo_id, cache_dir=model_path)
   

   Isso baixará os arquivos do modelo para o diretório especificado, o que pode levar alguns minutos, dependendo da velocidade da sua conexão com a internet.

3. Execute a inferência na CLI: Você pode usar o comando mral chat para executar o modelo na interface de linha de comando (CLI). Isso permitirá que você forneça um prompt e gere uma resposta:

   mral chat path/to/mistral-7b-v3 --instruct --max_new_tokens 256
   

   Quando solicitado, insira uma mensagem e o modelo gerará uma resposta.

4. Use o modelo em Python: Em seu código Python, você pode usar o pacote Mistral Inference para carregar o modelo e gerar respostas programaticamente:

   from mistral_inference import Transformer, ChatCompletionRequest
   
   model = Transformer.from_pretrained(model_path)
   tokenizer = Transformer.from_pretrained(model_path, subfolder='tokenizer')
   
   def generate_response(model, tokenizer, user_query):
       chat_request = ChatCompletionRequest(user_query)
       output_tokens = model.generate(chat_request.input_ids, max_new_tokens=1024, eos_token_id=tokenizer.eos_token_id)
       output_text = tokenizer.decode(output_tokens[0], skip_special_tokens=True)
       return output_text
   
   user_query = "Hello, how are you?"
   response = generate_response(model, tokenizer, user_query)
   print(response)
   

Isso abrange as etapas essenciais para começar com o modelo Mistral 7B v3. Agora você pode explorar as capacidades do modelo, testá-lo com vários prompts e até mesmo refiná-lo em seus próprios dados em etapas subsequentes.

A última versão do modelo Mistral 7B, versão 3, traz várias mudanças notáveis. Diferente das versões anteriores, este modelo foi lançado diretamente no Hugging Face, em vez de fornecer apenas links magnéticos. Embora o desempenho deva ser semelhante ao modelo Mistral 7B, há algumas atualizações proeminentes.

O modelo agora é completamente não censurado, com um vocabulário estendido de algumas centenas de tokens adicionais. Essa expansão está relacionada à sua capacidade aprimorada de realizar chamadas de função, que agora é suportada nativamente. O tokenizador também foi atualizado para acomodar essas mudanças.

Para começar com o novo modelo Mistral 7B v3, vamos percorrer a instalação do pacote Python Mistral Inference, o download do modelo e as consultas iniciais. Vamos explorar as capacidades do modelo, incluindo sua habilidade de gerar respostas a vários prompts, lidar com tópicos sensíveis e demonstrar suas habilidades de raciocínio.

Um dos recursos mais impressionantes deste modelo é sua capacidade recém-adicionada de chamada de função. Vamos mergulhar em um exemplo de como o modelo pode utilizar uma ferramenta personalizada de "obter clima atual" para fornecer informações meteorológicas para um determinado local, demonstrando sua versatilidade em integrar funcionalidades externas.

Em geral, o modelo Mistral 7B v3 apresenta uma evolução empolgante no mundo dos modelos de linguagem de grande porte, com suas capacidades expandidas e o potencial para um refinamento adicional e integração com várias aplicações.

A última versão do modelo Mistral 7B, versão 3, introduz um avanço significativo - a capacidade de suportar chamadas de função nativamente. Esse recurso permite que o modelo aproveite ferramentas e APIs externas para aprimorar suas capacidades, indo além das restrições tradicionais dos modelos de linguagem.

Um dos destaques-chave do Mistral v3 é seu vocabulário estendido, que agora inclui centenas de tokens adicionais. Essa expansão está diretamente ligada à funcionalidade de chamada de função do modelo, permitindo que ele integre e utilize recursos externos de forma perfeita.

Para demonstrar essa capacidade, vamos percorrer um exemplo em que o modelo é encarregado de recuperar o clima atual para um local específico. O modelo é fornecido com uma lista de ferramentas disponíveis, incluindo uma função "get_current_weather" que recebe o local e o formato de temperatura como parâmetros de entrada.

Quando solicitado com uma consulta como "Que tempo faz hoje em Paris?", o modelo reconhece a necessidade de utilizar a ferramenta externa e gera a chamada de função apropriada. Ele identifica corretamente Paris como o local e determina que o formato Celsius é o adequado com base no contexto.

Da mesma forma, quando a consulta é alterada para "Que tempo faz hoje em São Francisco?", o modelo se adapta e gera a chamada de função com o local e o formato de temperatura corretos.

Esse mecanismo de chamada de função se estende além de simples consultas meteorológicas. O modelo também pode lidar com tarefas mais complexas, como realizar cálculos matemáticos ou acessar outros tipos de dados e serviços.

A integração da chamada de função representa um passo significativo no avanço das capacidades dos modelos de linguagem de grande porte. Ao se libertar das restrições de uma base de conhecimento fechada, o Mistral v3 pode aproveitar dinamicamente recursos externos para fornecer respostas mais abrangentes e personalizadas às consultas dos usuários.

À medida que exploramos todo o potencial da avançada funcionalidade de chamada de função do Mistral v3, podemos esperar ver o surgimento de aplicações e casos de uso ainda mais inovadores, ampliando os limites do que é possível com modelos de linguagem de ponta.

O lançamento do modelo Mistral 7B V3 pela equipe da MRO é um desenvolvimento significativo no mundo dos modelos de linguagem de grande porte. Esse modelo não censurado apresenta várias mudanças notáveis, incluindo um vocabulário expandido, suporte nativo para chamada de função e um tokenizador atualizado.

Um dos destaques-chave deste modelo é sua capacidade de realizar chamadas de função, o que lhe permite aproveitar ferramentas e recursos externos para aprimorar suas capacidades. O exemplo apresentado no texto demonstra como o modelo pode utilizar uma função "obter clima atual" para fornecer informações meteorológicas precisas para um determinado local.

Embora o desempenho do modelo em várias tarefas pareça estar no mesmo nível do modelo Mistral 7B anterior, a introdução do recurso de chamada de função o diferencia e abre novas possibilidades para sua aplicação. O texto também destaca a capacidade do modelo de lidar com tarefas que exigem raciocínio em várias etapas, como o problema da porta de vidro, que ele resolveu com eficácia.

No entanto, as respostas do modelo sobre certos tópicos sensíveis, como invadir um carro, destacam a necessidade de uma consideração cuidadosa das implicações éticas de tais modelos. A inclusão de um aviso no texto sobre o uso dessas informações para atividades ilegais é uma abordagem louvável.

Em geral, o modelo Mistral 7B V3 representa um passo significativo no desenvolvimento de modelos de linguagem de grande porte, sendo sua capacidade de chamada de função um recurso particularmente notável. Como sugerido pelo autor, a exploração adicional deste modelo, incluindo o refinamento e a integração com o projeto Local GPT, será uma área empolgante de foco para o futuro.