A Meta AI lançou recentemente a terceira iteração de seu modelo de linguagem LLaMA, o LLaMA 3. Este novo modelo oferece avanços significativos em desempenho e capacidades, tornando-o uma escolha atraente para desenvolvedores e pesquisadores que trabalham em uma ampla gama de aplicações de IA.

O LLaMA 3 está disponível em duas versões pré-treinadas e ajustadas por instrução, com 8 bilhões e 70 bilhões de parâmetros, respectivamente. O modelo foi treinado em um impressionante conjunto de dados de mais de 15 trilhões de tokens, que é sete vezes maior que o conjunto de dados usado para o LLaMA 2. Esse conjunto de dados de treinamento expandido inclui quatro vezes mais código, tornando o LLaMA 3 particularmente hábil na geração de código e em outras tarefas relacionadas à programação.

Os benchmarks fornecidos pela Meta AI demonstram as impressionantes capacidades do LLaMA 3. A versão de 8 bilhões de parâmetros supera os populares modelos Galactica 7B e Mistral 7B Instruct em uma variedade de tarefas, incluindo aprendizado de poucos exemplos, resposta a perguntas e raciocínio matemático. O modelo maior de 70 bilhões de parâmetros também se mantém contra o poderoso modelo Chinchilla 1.5B, particularmente na área de geração de código.

O lançamento do LLaMA 3 pela Meta AI marca um avanço significativo no mundo dos modelos de linguagem de grande porte. Esta última iteração da série LLaMA apresenta desempenho e capacidades aprimorados que a destacam de suas predecessoras.

Um dos principais destaques é o desempenho de ponta do modelo em áreas como nuances de linguagem, compreensão contextual e tarefas complexas como tradução e geração de diálogo. Com escalabilidade e desempenho aprimorados, o LLaMA 3 pode lidar com tarefas de várias etapas com facilidade, graças aos processos de pós-treinamento refinados da Meta, que reduzem significativamente as taxas de recusa falsa, melhoram o alinhamento de respostas e aumentam a diversidade das respostas do modelo.

As capacidades do modelo foram drasticamente elevadas, particularmente em áreas como raciocínio, geração de código e seguimento de instruções. Isso fica evidente nos benchmarks fornecidos, onde o LLaMA 3 supera tanto o Geman 7B quanto o MISTL 7B Instruct em várias métricas, incluindo o impressionante escore de matemática, que é o triplo dos modelos concorrentes.

O lançamento do LLaMA 3 pela Meta AI estabeleceu um novo padrão para os modelos de linguagem de grande porte. De acordo com os benchmarks fornecidos, a versão de 8 bilhões de parâmetros do LLaMA 3 supera a concorrência, incluindo o Geman 7B e o MISTL 7B Instruct, em uma série de tarefas.

Os principais destaques dos benchmarks incluem:

• MLU 5-shot: O LLaMA 3 8B pontua 78,4, em comparação com 53 para o Geman 7B e 58 para o MISTL 7B Instruct.
• GPQA Zero-shot: O LLaMA 3 8B pontua 34, em comparação com 21 para o Geman 7B e 26 para o MISTL 7B Instruct.
• Escore de Matemática: O LLaMA 3 8B pontua significativamente mais alto em tarefas de matemática, quase o triplo dos escores do Geman 7B e do MISTL 7B Instruct.
• Geração de Código: O escore de avaliação humana para geração de código é 81 para o LLaMA 3 70B, em comparação com 71 para o Geman Pro 1.5 e 73 para o CLA 3 Sonic.

A Meta adotou uma abordagem abrangente para o desenvolvimento responsável do LLaMA 3, com foco na confiança e segurança. Eles atualizaram seu Guia de Uso Responsável (RUG) para fornecer informações abrangentes sobre o desenvolvimento responsável com modelos de linguagem de grande porte.

Sua abordagem centrada no sistema inclui atualizações em suas ferramentas de confiança e segurança, incluindo o LLaRD (Desenvolvimento Responsável do LLaMA), que foi otimizado para dar suporte à taxonomia publicada pelo ML Commons, expandindo sua cobertura para um conjunto mais abrangente de categorias de segurança.

Adicionalmente, a Meta introduziu o LLaMA Guard, um conjunto de ferramentas para tornar os recursos de segurança acessíveis aos desenvolvedores. Isso inclui o Code Shield, que avalia o código em relação a práticas de segurança, e o CyberSec Eval 2, que verifica possíveis abusos, como práticas de código inseguro, ajuda a atacantes cibernéticos, abuso de intérprete de código e suscetibilidade à injeção de prompt.

A Meta anunciou que está integrando a versão mais recente de seu modelo de linguagem LLaMA, o LLaMA 3, em seus vários aplicativos e serviços. Isso inclui a integração do LLaMA 3 no:

• Facebook
• Instagram
• WhatsApp
• Messenger

Os usuários agora poderão interagir diretamente com o modelo LLaMA 3 dentro desses aplicativos para obter informações em tempo real, responder a perguntas e concluir várias tarefas. A integração permite que os usuários aproveitem os recursos avançados do LLaMA 3, como seu desempenho aprimorado, compreensão contextual e conclusão de tarefas de várias etapas, sem ter que sair dos aplicativos que já estão usando.

Adicionalmente, a Meta está disponibilizando o LLaMA 3 na interface de inferência do Meta AI, permitindo que os desenvolvedores acessem e utilizem facilmente o modelo em suas próprias aplicações e projetos. Isso expande ainda mais a acessibilidade e a adoção deste poderoso modelo de linguagem.

Os modelos LLaMA 3 estão disponíveis para download e exploração por meio do repositório oficial do GitHub em github.com/facebookresearch/llama. Este repositório fornece acesso ao código e aos arquivos de modelo, permitindo que os desenvolvedores aprofundem-se nas capacidades desta última iteração da série LLaMA.

O repositório inclui os seguintes recursos-chave:

1. Arquivos de Modelo: Os modelos LLaMA 3 estão disponíveis em dois tamanhos - 8 bilhões e 70 bilhões de parâmetros. Esses modelos pré-treinados podem ser baixados e usados em uma ampla gama de aplicações.

2. Código: O repositório do GitHub contém o código-fonte dos modelos LLaMA 3, permitindo que os desenvolvedores entendam a arquitetura subjacente e potencialmente ajustem ou adaptem os modelos para seus casos de uso específicos.

3. Documentação: O repositório inclui documentação detalhada, fornecendo orientação sobre como baixar, configurar e usar os modelos LLaMA 3 de maneira eficaz.

4. Benchmarks: O repositório exibe o desempenho do LLaMA 3 em vários benchmarks, permitindo que os usuários comparem suas capacidades com outros modelos de linguagem.

5. Guia de Uso Responsável: A Meta AI incluiu um "Guia de Uso Responsável" abrangente para garantir o desenvolvimento ético e responsável de aplicações usando os modelos LLaMA 3.