A Mixtral AI lançou recentemente um modelo de peso aberto massivo, o Mixtral 8x22B MoE, que se gaba de impressionantes 176 bilhões de parâmetros. Este modelo é uma mistura de oito modelos especialistas, cada um com 22 bilhões de parâmetros, resultando em um modelo de linguagem altamente capaz e versátil.

O Mixtral 8x22B MoE possui várias características notáveis:

• Comprimento de Contexto Grande: O modelo pode suportar até 655.000 tokens, significativamente maior que as gerações anteriores.
• Desempenho Impressionante: Mesmo em sua forma base, o modelo supera o modelo de peso aberto anterior de ponta, o Cair R+, em uma variedade de benchmarks.
• Disponibilidade Comercial: O modelo é lançado sob a licença Apache 2.0, permitindo uso comercial.
• Integração com Hugging Face: O modelo e seu tokenizador já estão disponíveis na plataforma Hugging Face, tornando-o acessível à comunidade de IA mais ampla.

Enquanto os dados de pré-treinamento e as capacidades multilíngues do modelo ainda são desconhecidos, as avaliações iniciais sugerem que o Mixtral 8x22B MoE é um modelo de linguagem altamente capaz. Seu desempenho é estimado estar entre as capacidades do Chinchilla e do GPT-4, embora os usuários sejam encorajados a testar o modelo em suas próprias aplicações para uma avaliação mais precisa.

A versão base do modelo Mistal AI 822B demonstrou um desempenho impressionante, superando até mesmo o melhor modelo de peso aberto anterior, o Cair R+, em várias avaliações. Embora os números de desempenho oficiais ainda não estejam disponíveis, a comunidade conseguiu reunir algumas informações.

O desempenho do modelo parece estar entre o do Chinchilla e o do GPT-4, com a ressalva de que as avaliações podem não capturar totalmente as capacidades reais do modelo no mundo real. O LMS Chat Arena Benchmark é considerado uma boa representação do desempenho do modelo em aplicações práticas.

Um aspecto notável do modelo base é sua capacidade de seguir instruções e fornecer respostas relevantes, o que normalmente não é esperado de um modelo base. Isso sugere que o modelo pode ter sido treinado em uma quantidade significativa de dados instrucionais, possivelmente indicando as capacidades das versões fine-tuned instruídas que estão por vir.

O modelo também demonstra um grau de comportamento não censurado, como evidenciado por sua resposta ao prompt sobre invadir um carro. Essa é uma característica de modelos não restritos, e as versões fine-tuned instruídas provavelmente serão mais alinhadas e menos dispostas a se envolver em atividades antiéticas ou ilegais.

O modelo demonstra capacidades impressionantes, mesmo em sua versão base. Quando solicitado a responder quantos helicópteros um ser humano pode comer em uma única refeição, o modelo fornece uma resposta reflexiva, explicando que não tem a capacidade de consumir objetos físicos, mas fornece informações sobre os perigos de comer itens que não são alimentos.

O modelo também mostra sua capacidade de seguir instruções, como evidenciado por sua resposta ao prompt sobre invadir um carro. Embora reconheça que tal ação é ilegal, ainda fornece algumas opções potenciais, demonstrando sua natureza não censurada.

Para testar as habilidades de redação criativa do modelo, foi dado um prompt sobre a opinião de Jon Snow sobre o iPhone 14. O modelo gerou uma narrativa coerente, mantendo-se fiel às instruções fornecidas.

Quando perguntado sobre a moralidade de matar mosquitos, o modelo expressou uma opinião clara, explicando a importância dos mosquitos no ecossistema e o possível dano que matar eles pode causar.

As sugestões de investimento do modelo, embora não inteiramente surpreendentes, demonstram seu entendimento da indústria de IA e sua capacidade de fornecer recomendações relevantes.

A transcrição indica que o modelo demonstra um certo nível de raciocínio moral quando questionado sobre a ética de matar mosquitos. O modelo afirma que "não é moralmente certo matar mosquitos" pois eles fazem parte do ecossistema natural e servem de alimento para outros animais. Ele explica que perturbar o ecossistema pode causar danos a outras espécies. Isso sugere que o modelo foi treinado para considerar as implicações ambientais e ecológicas mais amplas das ações, em vez de uma visão simplista de certo e errado.

No entanto, a resposta do modelo também destaca as limitações de seu raciocínio moral. Quando perguntado sobre invadir um carro, o modelo reconhece que é ilegal, mas então procede a fornecer instruções passo a passo, indicando uma falta de forte alinhamento moral contra ações antiéticas. Além disso, o modelo não conseguiu resolver corretamente um problema lógico simples sobre relações familiares, sugerindo que suas capacidades de raciocínio têm espaço para melhorias.

O modelo forneceu uma lista de empresas relacionadas à IA que ele recomendaria investir, incluindo Nvidia, Google, Microsoft, Amazon e IBM. Esta é uma seleção razoável, pois são todos os principais players na indústria de IA e tecnologia.

A Nvidia é um fabricante líder de GPUs e outros hardwares essenciais para aplicações de IA e aprendizado de máquina. O Google, a Microsoft e a Amazon são gigantes da tecnologia com investimentos e capacidades significativos em pesquisa e desenvolvimento de IA. A IBM também tem uma forte presença no espaço da IA, embora talvez não seja tão dominante quanto algumas das outras empresas mencionadas.

Em geral, as sugestões de investimento do modelo parecem ser baseadas em um entendimento sólido da indústria de IA e dos principais players dentro dela. Embora as recomendações possam não ser exaustivas, elas fornecem um bom ponto de partida para alguém que deseja investir em empresas relacionadas à IA. No entanto, é importante observar que as decisões de investimento devem ser baseadas em pesquisa e análise aprofundadas, e não apenas nas recomendações de um modelo de IA.

O desempenho do modelo em desafios matemáticos e de programação foi misto. Enquanto foi capaz de fornecer um programa Python correto para gravar um arquivo em um bucket S3, ele teve dificuldades com alguns problemas matemáticos básicos.

Para a questão sobre o número de irmãs que Sally tem, o modelo não conseguiu fornecer a resposta correta, mesmo após várias tentativas. Ele ou afirmou que não podia responder à pergunta ou deu uma resposta incorreta.

Da mesma forma, para o "Problema do Assassino", a resposta do modelo estava incorreta, afirmando que se houvesse inicialmente 99 assassinos e um fosse morto, haveria 98 assassinos restantes. Essa não é a solução correta para o problema.

No entanto, a capacidade do modelo de gerar um programa Python funcional para interagir com um bucket S3 é impressionante, demonstrando suas fortes habilidades de programação. Isso sugere que o modelo pode ser mais adequado para tarefas que envolvem codificação e desenvolvimento de software, em vez de raciocínio matemático puro.

Em geral, o desempenho do modelo nesse tipo de desafio é misto, com pontos fortes em certas áreas e fraquezas em outras. À medida que o modelo for refinado e aprimorado, será interessante ver como suas capacidades nesses domínios evoluirão.