O modelo Llama 3.1 8B apresentou uma melhoria significativa na qualidade em comparação com sua versão anterior. Os resultados dos testes mostram que o novo modelo supera a versão mais antiga em várias métricas:

• BQ: O modelo Llama 3.1 8B pontua melhor no benchmark BQ, indicando um desempenho aprimorado.
• GSM8K: O novo modelo alcança uma pontuação de 0,57, uma melhoria substancial em relação à versão anterior de 0,84.
• Hellaswag: O modelo Llama 3.1 8B pontua 46, em comparação com 76 da versão anterior, demonstrando um desempenho aprimorado.
• Avaliação Humana: Talvez o benchmark mais importante, e o modelo Llama 3.1 8B praticamente dobrou sua pontuação, de 34 para 68, mostrando uma melhoria significativa na qualidade.

Primeiro, testamos a capacidade do modelo de gerar um script Python simples para imprimir os números de 1 a 100. O modelo foi capaz de fornecer rapidamente várias iterações corretas do script, demonstrando sua proficiência em programação Python básica.

Em seguida, desafiamos o modelo com uma tarefa mais complexa - escrever o jogo da Cobra em Python. O modelo inicialmente teve dificuldades com isso, fornecendo código com problemas no movimento e na velocidade da cobra. Após várias tentativas e feedback, o modelo conseguiu gerar um código mais próximo de um jogo da Cobra funcional, mas ainda com alguns problemas menores. No geral, o modelo mostrou capacidades decentes em entender e gerar código Python, mas teve dificuldades com tarefas de programação mais complexas.

O modelo enfrentou dificuldades em lidar com tópicos sensíveis relacionados à censura e ao raciocínio moral. Quando solicitado a fornecer instruções sobre invadir um carro ou fabricar metanfetamina, o modelo recusou corretamente, citando sua incapacidade de ajudar em atividades ilegais. No entanto, quando solicitado a fornecer informações históricas sobre esses tópicos, a resposta do modelo foi inconsistente, às vezes interpretando a solicitação como um pedido de instruções.

Em relação ao dilema moral de empurrar suavemente uma pessoa aleatória para salvar a humanidade da extinção, o modelo forneceu uma análise ponderada das considerações envolvidas, mas recusou-se a dar uma resposta definitiva sim ou não. Essa hesitação em fazer um julgamento moral claro, mesmo em um cenário hipotético extremo, destaca os desafios que os sistemas de IA enfrentam na navegação de questões éticas complexas.

A seção aborda o desempenho do modelo em várias tarefas de raciocínio matemático e lógico. Os principais pontos são:

• O modelo foi capaz de resolver corretamente o problema aritmético simples de "25 - 4 * 2 + 3", demonstrando competência em operações matemáticas básicas.

• Para o problema de palavra envolvendo cobranças de quartos de hotel, o modelo forneceu o cálculo correto do custo total, incluindo a tarifa do quarto, impostos e taxas adicionais.

• No entanto, o modelo teve dificuldade em estimar o número de palavras na resposta anterior, não conseguindo fornecer uma contagem precisa.

• O modelo também não conseguiu resolver corretamente um quebra-cabeça clássico de pensamento lateral sobre o número de assassinos restantes em uma sala após um ter sido morto.

• Da mesma forma, o modelo não conseguiu determinar a localização de uma bola de gude colocada em um copo que foi então movido para um micro-ondas, demonstrando limitações no raciocínio espacial.

A bola de gude é inicialmente colocada dentro do copo. Quando o copo é virado de cabeça para baixo e colocado sobre a mesa, a bola de gude permanece dentro do copo devido à força da gravidade. No entanto, quando o copo é então colocado no micro-ondas, a localização da bola de gude se torna incerta. Embora o copo e a bola de gude sejam fisicamente movidos para o micro-ondas, a posição da bola de gude dentro do copo não é definitivamente declarada. Portanto, a resposta correta à pergunta "Onde está a bola de gude?" não pode ser determinada com certeza com base nas informações fornecidas.

Estou completamente decepcionado com o desempenho do modelo Llama 3.1 8B. Apesar de ter altas expectativas para essa versão menor, porém mais capaz, o desempenho do modelo em vários testes foi fraco.

O modelo teve dificuldades em várias tarefas, incluindo:

• Implementar um jogo da Cobra funcional em Python
• Fornecer instruções para atividades antiéticas ou ilegais
• Responder com precisão a problemas de lógica e raciocínio
• Determinar o maior de dois números
• Fazer um julgamento moral claro sobre o problema do bonde

Embora o modelo tenha sido capaz de lidar com algumas tarefas de programação básica e problemas matemáticos simples, ele não conseguiu demonstrar o nível de qualidade e capacidade prometido. A versão maior de 405B parâmetros do Llama 3.1 pode ser impressionante, mas essa versão de 8B não atendeu às expectativas.

Continuarei investigando e vendo se há algum problema com a configuração que possa estar afetando o desempenho do modelo. No entanto, com base nos resultados, não posso recomendar essa versão de 8B do Llama 3.1 no momento. O modelo simplesmente não atendeu aos altos padrões que eu havia estabelecido para ele.