A Meta lançou seu modelo Llama3, um assistente de IA de bate-papo semelhante ao GPT-4. Os resultados iniciais têm sido bastante impressionantes, com o Llama3 se saindo bem em vários benchmarks. A versão de 70 bilhões de parâmetros do Llama3 pode ser executada em uma máquina de desktop poderosa e atingiu 82% no benchmark de tarefas de codificação HumanEval, o que está próximo do desempenho de sistemas proprietários modernos.

O Llama3 também se saiu bem no teste científico GPQA, pontuando próximo a 40%, o que é muito impressionante. No entanto, seu desempenho em tarefas focadas em matemática não é tão forte, com uma pontuação de 50%, em comparação com o GPT-4 da OpenAI, que pode atingir mais de 70% em problemas matemáticos semelhantes.

Adicionalmente, a Meta está trabalhando em um modelo ainda maior de cerca de 400 bilhões de parâmetros, que deve ter melhorias significativas em relação à versão de 70 bilhões de parâmetros em vários testes. Esse modelo maior ainda está em desenvolvimento, mas deve ser lançado antes do final do ano.

Quando se trata de avaliar o desempenho de modelos de IA, a escolha dos benchmarks é crucial. O benchmark ideal deve encontrar um equilíbrio entre ser desafiador o suficiente para diferenciar os modelos, mas não tão difícil que os modelos tenham dificuldade em se sair bem.

Testes com uma taxa de sucesso abaixo de 10% geralmente não são considerados ótimos para testes, pois se torna mais difícil tirar conclusões estatisticamente significativas. Por outro lado, testes com uma taxa de sucesso de 80-85% ou mais podem começar a perder o significado, pois podem conter erros ou ter respostas vazadas, permitindo que os modelos simplesmente repliquem as respostas corretas.

O teste GPQA, que abrange uma série de disciplinas científicas como química orgânica, biologia molecular e física, é citado como um bom exemplo de um benchmark desafiador, mas significativo. Atingir próximo a 40% neste teste é considerado muito impressionante.

Quando se trata de avaliar o desempenho de modelos de IA para casos de uso do mundo real, o leaderboard Arena fornece uma avaliação mais relevante. Esse teste mede as habilidades dos modelos em auxiliar em tarefas que as pessoas normalmente realizariam, em vez de apenas desafios acadêmicos ou técnicos.

As principais conclusões são que encontrar o equilíbrio certo na dificuldade do benchmark é crucial, e que os modelos de código aberto como o Llama3 estão agora se saindo notavelmente bem, muitas vezes rivalizando ou até superando os sistemas proprietários como o GPT-4 em vários testes.

O Llama3, o chatbot de IA de código aberto da Meta, mostrou um desempenho impressionante em vários benchmarks, rivalizando com sistemas proprietários como o GPT-4. Com uma versão de 70 bilhões de parâmetros disponível para uso em máquinas de desktop poderosas, o Llama3 atingiu 82% no benchmark de tarefas de codificação HumanEval e um impressionante 40% no desafiador teste científico GPQA. Embora seu desempenho em matemática, com 50%, fique atrás do GPT-4, com 70%, o modelo de 400 bilhões de parâmetros que está por vir deve melhorar ainda mais esses resultados.

Igualmente impressionante é o Gemini 1.5 Pro, da Google DeepMind, que demonstrou um forte desempenho no leaderboard Arena, superando até mesmo versões anteriores do GPT-4 em alguns aspectos. A capacidade do Gemini 1.5 Pro de aprender a partir de filmes e bases de código inteiras o destaca, e ele alcançou o segundo lugar geral, bem como o primeiro lugar para prompts mais longos.

A disponibilidade desses poderosos assistentes de IA, tanto de código aberto quanto proprietários, marca um avanço significativo no campo. Os usuários agora podem acessar o Llama3 e o Gemini 1.5 Pro gratuitamente, fora da UE, por meio de várias plataformas, permitindo-lhes experimentar as capacidades desses modelos de ponta.

Você pode experimentar os modelos de IA Llama3 e Gemini 1.5 Pro gratuitamente da seguinte forma:

1. Llama3:

   • Segundo o melhor conhecimento do autor, você pode experimentar o Llama3 no site da Meta, se estiver localizado fora da Europa.
   • Você também pode baixar e executar o modelo Llama3 em qualquer lugar.
   • Existem sites que estão hospedando o Llama3, e você pode experimentá-lo por meio dessas plataformas. Os links são fornecidos na descrição do vídeo.

2. Gemini 1.5 Pro:

   • O Gemini 1.5 Pro, desenvolvido pela Google DeepMind, também está disponível para experimentar gratuitamente, fora da UE.
   • O link para acessar o Gemini 1.5 Pro é fornecido na descrição do vídeo.

O autor enfatiza que tanto o Llama3 quanto o Gemini 1.5 Pro são modelos de IA impressionantes, quase tão bons quanto os sistemas proprietários pagos, mas você pode usá-los gratuitamente.

Os assistentes de IA estão melhorando em um ritmo impressionante, e os modelos de código aberto como o Llama3 e o Gemini 1.5 Pro agora são quase tão capazes quanto os sistemas proprietários pagos, como o GPT-4. Esses modelos de código aberto estão disponíveis gratuitamente para todos usarem, o que é um desenvolvimento incrível.

O Llama3, o modelo de 70 bilhões de parâmetros da Meta, está se saindo notavelmente bem em vários benchmarks, incluindo o desafiador teste científico GPQA. Embora possa não ser tão forte em matemática quanto o GPT-4, ainda entrega resultados impressionantes. Além disso, o modelo Llama3 de 400 bilhões de parâmetros que está por vir deve melhorar ainda mais essas capacidades.

Da mesma forma, o Gemini 1.5 Pro, da Google DeepMind, também é um assistente de IA altamente capaz, rivalizando com o desempenho de versões anteriores do GPT-4. Ele se destaca particularmente em tarefas envolvendo prompts mais longos e contextos complexos, como assistir a filmes inteiros ou aprender bases de código.

A disponibilidade desses modelos de IA de código aberto, que podem ser experimentados gratuitamente, é um marco significativo. Isso democratiza o acesso à tecnologia de IA avançada e permite que todos explorem e se beneficiem dessas poderosas ferramentas. Este é um momento maravilhoso para estar vivo, pois testemunhamos o rápido progresso da IA e a crescente acessibilidade dessas notáveis capacidades.