A era dos modelos pequenos e altamente performáticos chegou. Esta semana, a OpenAI lançou o GPT-4 Mini, uma versão menor, mais rápida e muito menos dispendiosa do GPT-4. Com preço de 15 centavos por milhão de tokens de entrada e 60 centavos por milhão de tokens de saída, o GPT-4 Mini é 60% mais barato que o GPT-3.5 Turbo.

O GPT-4 Mini obtém uma pontuação impressionante de 82% no benchmark MLU e atualmente supera o GPT-4 nas preferências de bate-papo no ranking LM Cy. Ele suporta texto e visão na API, com suporte para entrada e saída de texto, imagem, vídeo e áudio chegando no futuro. O modelo tem uma janela de contexto de 128.000 tokens e conhecimento até outubro de 2023.

Nos testes de desempenho, o GPT-4 Mini demonstrou sua velocidade e capacidades. Ele foi capaz de gerar rapidamente um script em Python para imprimir os números de 1 a 100, criar um jogo da cobrinha funcional e resolver vários problemas de lógica e raciocínio. Em comparação com o GPT-4, o GPT-4 Mini foi até três vezes mais rápido em algumas tarefas.

No entanto, quando se tratava de tarefas relacionadas à visão, como analisar imagens e converter um documento do Excel para CSV, o GPT-4 Mini levou mais tempo e usou significativamente mais tokens do que o GPT-4. Isso sugere que, para tarefas envolvendo visão, o GPT-4 pode ser a melhor escolha se a latência for uma preocupação.

Comecei testando a capacidade do GPT-4 Mini de gerar scripts simples em Python. Ele foi capaz de imprimir rapidamente e com precisão os números de 1 a 100. Em seguida, pedi que ele escrevesse o jogo da cobrinha em Python, e ele entregou um script funcional em apenas 5,8 segundos, o que foi 3 vezes mais rápido que o GPT-4.

Em seguida, testei sua capacidade de lidar com prompts mais sensíveis, como como invadir um carro. Embora o GPT-4 Mini tenha fornecido algumas informações, sei que esse tipo de conteúdo provavelmente será corrigido em breve, então eu o marquei como uma falha.

Passando para tarefas mais lógicas e baseadas em raciocínio, o GPT-4 Mini se saiu muito bem. Ele explicou corretamente o tempo de secagem das camisas, resolveu um problema de matemática básico e até contou com precisão o número de palavras na minha resposta anterior.

Quando apresentado a um quebra-cabeça lógico clássico sobre assassinos em uma sala, o GPT-4 Mini forneceu uma explicação detalhada e passo a passo que correspondia à resposta do GPT-4.

Também testei suas capacidades de visão, pedindo que ele explicasse um meme e convertesse uma captura de tela do Excel para formato CSV. Embora o GPT-4 tenha sido mais rápido nas tarefas de visão, o GPT-4 Mini ainda conseguiu concluí-las com sucesso.

O GPT-4 Mini demonstrou habilidades impressionantes de raciocínio e lógica durante todo o processo de teste. Aqui estão os principais destaques:

• Resolveu corretamente o script em Python para imprimir os números de 1 a 100, bem como a implementação do jogo da cobrinha, demonstrando suas habilidades de programação.
• Forneceu uma explicação sólida para o problema do tempo de secagem da camisa, reconhecendo que o tempo de secagem é independente do número de camisas.
• Calculou com precisão o valor total da conta do hotel, incluindo a tarifa do quarto, os impostos e a taxa adicional.
• Identificou corretamente o número de palavras na resposta fornecida, superando o modelo maior GPT-4.
• Raciocinou logicamente através do cenário do "problema do assassino", identificando o número correto de assassinos restantes.
• Demonstrou um forte entendimento do problema da bola de gude, deduzindo corretamente o local final da bola de gude.

Embora o GPT-4 Mini tenha tido dificuldades com algumas tarefas, como as "10 frases terminando com Apple" e a análise de imagens baseada em visão, ele exibiu, no geral, uma compreensão sólida de raciocínio e pensamento lógico. A velocidade e a eficiência em custos do modelo o tornam uma opção atraente para muitas aplicações que priorizam essas capacidades cognitivas.

O GPT-4 Mini demonstrou um desempenho impressionante nas tarefas de visão e processamento de imagens apresentadas. Aqui estão os principais achados:

• Explicação de Imagem: Quando mostrado um meme contrastando a dinâmica de startups e grandes empresas, o GPT-4 Mini explicou com precisão a piada e as diferenças retratadas nas duas imagens.

• Conversão de Imagem para CSV: Quando apresentado a uma captura de tela de uma planilha do Excel, o GPT-4 Mini foi capaz de converter corretamente os dados para um formato CSV, demonstrando sua capacidade de processar e transformar informações visuais.

• Análise de Armazenamento: Quando apresentado a uma captura de tela da divisão de armazenamento de um iPhone, o GPT-4 Mini identificou corretamente o espaço de armazenamento restante e o aplicativo que consumia mais espaço, demonstrando sua capacidade de extrair e interpretar informações relevantes de dados visuais.

No entanto, a análise também revelou que, embora o GPT-4 Mini se destacasse em tarefas baseadas em texto, ele foi mais lento e exigiu significativamente mais tokens ao processar entradas visuais em comparação com o modelo maior GPT-4. Isso sugere que, para aplicações fortemente dependentes de visão e processamento de imagens, o modelo padrão GPT-4 pode ser a escolha mais adequada, priorizando o desempenho em relação à eficiência de custos do GPT-4 Mini.

No geral, os resultados destacam a versatilidade do GPT-4 Mini em lidar com uma variedade de tarefas, incluindo visão e processamento de imagens, mantendo uma vantagem de desempenho substancial e custo-efetividade em relação ao seu modelo maior. Isso torna o GPT-4 Mini uma opção atraente para aplicações em que o equilíbrio entre custo e desempenho é uma consideração-chave.

Os testes do GPT-40 mini revelaram algumas capacidades impressionantes deste modelo menor e mais econômico. Em comparação com o maior GPT-4, o GPT-40 mini demonstrou velocidade e desempenho notáveis em uma variedade de tarefas, incluindo a escrita de scripts em Python, a resolução de problemas lógicos e até a geração de conteúdo criativo.

Uma das principais vantagens do GPT-40 mini é seu custo significativamente menor, com preços 60% mais baratos que o GPT-3.5 Turbo. Isso o torna uma opção atraente para desenvolvedores e empresas que buscam aproveitar os poderosos modelos de linguagem sem o alto preço.

No entanto, os testes também destacaram algumas limitações do GPT-40 mini, especialmente em tarefas envolvendo processamento visual. O modelo teve dificuldade em igualar o desempenho do GPT-4 em tarefas como análise de imagens e conversão, muitas vezes levando mais tempo para processar e usando significativamente mais tokens.

Em geral, o surgimento do GPT-40 mini representa um passo importante na evolução dos modelos de linguagem, demonstrando o potencial de modelos menores e mais eficientes em oferecer capacidades impressionantes a uma fração do custo. À medida que a era do modelo pequeno continua a se desenrolar, será interessante ver como o GPT-40 mini e modelos semelhantes serão adotados e utilizados em várias aplicações.