A recém-lançada família Phi-3 da Microsoft é uma mudança de jogo, oferecendo modelos de linguagem que podem rivalizar com o desempenho do ChatGPT, mas podem ser executados localmente em seu telefone. A melhor parte é que os pesos estão disponíveis publicamente, permitindo que você os use para fins comerciais.

Em termos de desempenho, o modelo menor de 4 bilhões de parâmetros é capaz de superar os modelos maiores de 8 bilhões. Esse feito impressionante é um testemunho da qualidade dos dados de treinamento utilizados. Os modelos Phi-3 foram treinados em 3,3 trilhões de tokens, e o relatório técnico "Um modelo de linguagem altamente capaz localmente em seu telefone" detalha suas impressionantes capacidades.

A família Phi-3 consiste em três modelos diferentes: um modelo de 3,8 bilhões de parâmetros, um modelo de 7 bilhões e um modelo de 14 bilhões. O modelo menor de 3,8 bilhões, com base em benchmarks acadêmicos e testes internos, se aproxima do desempenho do GPT-3.5. Isso é possível devido aos dados da web de alta qualidade usados para o treinamento, que foram cuidadosamente filtrados e complementados com dados sintéticos.

Ao comparar os modelos Phi-3 com outros grandes modelos de linguagem, o modelo de 14 bilhões supera a concorrência em todos os benchmarks, incluindo o ChatGPT-3.5. Até mesmo o modelo menor de 3 bilhões é altamente capaz, superando o modelo Lamda de 38 bilhões em tarefas como MNLI e SWAG.

A melhor parte é que os mini modelos Phi-3, com uma janela de contexto de 4.000 ou 128.000 tokens, estão abertamente disponíveis no Hugging Face. Isso permite que você baixe os pesos e experimente com eles, abrindo caminho para aplicações emocionantes e novos avanços no campo dos modelos de linguagem.

A família Pi3 recém-lançada da Microsoft mostra o progresso notável em modelos de linguagem que agora podem ser executados de forma eficiente em dispositivos móveis. Esses modelos, com tamanhos variando de 3,8 bilhões a 14 bilhões de parâmetros, demonstraram um desempenho impressionante, muitas vezes superando modelos maiores como o GPT-3.5 em vários benchmarks acadêmicos.

A chave para essa conquista está na qualidade dos dados de treinamento utilizados. Os modelos Pi3 foram treinados em uma enorme quantidade de 3,3 trilhões de tokens de dados da web de alta qualidade, que foram cuidadosamente filtrados e selecionados. Além disso, a equipe da Microsoft também gerou seus próprios dados sintéticos para melhorar ainda mais as capacidades dos modelos.

O modelo menor de 3,8 bilhões de parâmetros da família Pi3 é particularmente notável, pois é capaz de superar os modelos maiores de 8 bilhões de parâmetros em várias tarefas. Isso ressalta a importância da qualidade dos dados em relação ao tamanho do modelo, uma tendência que também foi observada com a família Lamda 3.

A disponibilidade aberta dos pesos do modelo Pi3 em plataformas como o Hugging Face permite que desenvolvedores e pesquisadores experimentem esses poderosos modelos de linguagem e explorem suas potenciais aplicações, mesmo em dispositivos com recursos limitados, como smartphones. Essa acessibilidade abre caminho para novos avanços no campo do processamento de linguagem natural e a democratização da tecnologia de IA de ponta.

Os modelos de linguagem Pi3 da Microsoft demonstram capacidades impressionantes, mesmo em versões menores de 4 bilhões de parâmetros. No entanto, os modelos exibem uma abordagem cautelosa quando confrontados com prompts potencialmente sensíveis ou inseguros.

Quando solicitados com pedidos relacionados a atividades ilegais, como invadir um carro ou matar um processo do Linux, os modelos se recusam educadamente a fornecer qualquer assistência. Em vez disso, eles oferecem sugestões alternativas e seguras. Esse processo de alinhamento é um recurso notável, pois os modelos visam evitar habilitar ações prejudiciais.

Da mesma forma, quando solicitados a contar uma piada baseada em gênero, os modelos respondem com uma piada leve e inofensiva, em vez de se recusarem diretamente. Essa abordagem equilibrada demonstra a capacidade dos modelos de navegar em tópicos sensíveis sem causar ofensa.

Os modelos também demonstram fortes habilidades de raciocínio lógico, deduzindo corretamente relações e resolvendo problemas matemáticos complexos. No entanto, eles podem fazer suposições com base no contexto fornecido, que nem sempre podem ser precisas.

Em geral, os modelos Pi3 exibem um nível louvável de cautela e alinhamento, tornando-os uma opção promissora para aplicações em que a segurança e o comportamento responsável são fundamentais. Sua capacidade de navegar em prompts sensíveis, mantendo respostas coerentes e úteis, é um testemunho dos avanços no desenvolvimento de grandes modelos de linguagem.

Os modelos Pi3 da Microsoft demonstraram impressionantes capacidades de raciocínio lógico, mesmo para o modelo menor de 4 bilhões de parâmetros. Os modelos foram capazes de lidar com uma variedade de tarefas de raciocínio lógico com surpreendente precisão.

Quando apresentado com o prompt clássico "John tem duas irmãs", o modelo deduziu corretamente que Sally, sendo uma das irmãs de John, também teria dois irmãos. Ele reconheceu a suposição inicial feita e forneceu uma justificativa bem fundamentada para isso.

Da mesma forma, o modelo foi capaz de resolver o problema da "lagoa sendo preenchida com mentiras", calculando corretamente o número de dias que levaria para a lagoa ficar metade cheia ou metade vazia, mesmo quando o prompt foi modificado.

No entanto, o modelo enfrentou alguns desafios com o prompt "Glo empurrou nele em espelho escrito", fazendo uma suposição incorreta sobre a perspectiva a partir da qual a porta deveria ser vista.

Em geral, as habilidades de raciocínio lógico dos modelos Pi3 são bastante impressionantes, demonstrando seu forte entendimento de resolução de problemas complexos e sua capacidade de se adaptar a prompts modificados. Essas capacidades são um testemunho da qualidade dos dados de treinamento e da arquitetura do modelo usados na família Pi3.

A família de modelos de linguagem Phi-3 da Microsoft, particularmente o modelo menor de 4 bilhões de parâmetros, demonstrou capacidades impressionantes que rivalizam até mesmo com modelos maiores como o GPT-3.5. Esses modelos agora estão disponíveis publicamente, permitindo o uso comercial de seus pesos.

Em termos de desempenho, o modelo Phi-3 de 4 bilhões de parâmetros é capaz de superar os modelos maiores de 8 bilhões de parâmetros, demonstrando a importância de dados de treinamento de alta qualidade em relação ao tamanho do modelo. Os modelos foram treinados em 3,3 trilhões de tokens, e com base em benchmarks acadêmicos e testes internos, o modelo menor se aproxima das capacidades do GPT-3.5.

Quando testados em uma variedade de prompts, os modelos Phi-3 exibem um forte alinhamento, muitas vezes recusando-se a ajudar em solicitações potencialmente prejudiciais ou antiéticas. No entanto, eles ainda são capazes de fornecer informações e orientações úteis, demonstrando uma abordagem nuançada em relação à segurança e à ética.

Os modelos também se destacam em tarefas de raciocínio lógico, identificando corretamente suposições e fornecendo explicações passo a passo. Seu desempenho em tarefas relacionadas à programação também é impressionante, com a capacidade de identificar e corrigir erros em código Python.

Além disso, os modelos Phi-3 podem ser usados de forma eficaz para tarefas de escrita criativa, gerando texto coerente e apropriado ao tom em estilos de franquias populares como Game of Thrones.

Em geral, a família de modelos de linguagem Phi-3, particularmente a versão menor de 4 bilhões de parâmetros, representa um avanço significativo no campo dos grandes modelos de linguagem. Sua disponibilidade pública e forte desempenho em uma variedade de tarefas os tornam uma opção atraente para desenvolvedores e pesquisadores.

A capacidade do modelo Pi3 de se envolver na escrita criativa é bastante impressionante, como demonstrado pelo novo capítulo de Game of Thrones que ele gerou. O texto é coerente, adotando o tom e o estilo da série original, e integra perfeitamente a perspectiva de Jon Snow sobre o iPhone 14.

Isso demonstra a capacidade do modelo de gerar conteúdo original e contextualmente apropriado. A escrita fluente e envolvente sugere um forte domínio da estrutura narrativa, da voz dos personagens e da construção do mundo - elementos-chave da escrita criativa eficaz.

Embora o modelo possa não ser capaz de replicar totalmente a profundidade e a complexidade da ficção escrita por humanos, seu desempenho nessa tarefa indica um potencial promissor para aplicações de escrita criativa assistida por IA. Com maior refinamento e treinamento em diversos gêneros literários, o modelo Pi3 poderia se tornar uma ferramenta valiosa para escritores, oferecendo um ponto de partida para a geração de ideias, o desenvolvimento de personagens e a exploração narrativa.

A família de modelos de linguagem Pi3 da Microsoft é um desenvolvimento impressionante, oferecendo modelos altamente capazes que podem ser executados localmente em um telefone. Esses modelos, variando de 3,8 bilhões a 14 bilhões de parâmetros, demonstraram um forte desempenho em benchmarks acadêmicos, muitas vezes superando modelos maiores como o GPT-3.5.

Os principais fatores que contribuem para o sucesso desses modelos são os dados da web de alta qualidade usados para o treinamento, bem como a geração de dados sintéticos. Essa abordagem permitiu que o modelo menor de 4 bilhões de parâmetros alcançasse resultados próximos ao modelo maior de 8 bilhões.

Um dos recursos notáveis dos modelos Pi3 é sua natureza de código aberto, com os pesos sendo disponibilizados publicamente para uso comercial. Isso abre oportunidades para que desenvolvedores e pesquisadores experimentem e integrem esses modelos em suas próprias aplicações.

Os modelos demonstraram capacidades impressionantes em várias tarefas, incluindo raciocínio lógico, programação e escrita criativa. Embora haja algumas limitações, como a tendência dos modelos de evitar prompts potencialmente inseguros, o desempenho geral é altamente promissor.

À medida que o campo dos modelos de linguagem continua evoluindo rapidamente, o lançamento da família Pi3 representa um desenvolvimento emocionante, fornecendo um vislumbre do futuro de modelos de IA altamente capazes e, no entanto, acessíveis, que podem ser implantados em dispositivos móveis. A capacidade de executar esses modelos localmente em um telefone possui um potencial significativo para uma ampla gama de aplicações, desde assistentes pessoais até ferramentas especializadas baseadas em linguagem.