A Meta está arrasando com seu jogo de código aberto, e parece que já estão trabalhando no Llama 4, que pode ser lançado até o final do ano. No entanto, o Llama 3.1 demonstrou um desempenho realmente promissor em várias capacidades diferentes, como codificação de máscaras, seguimento de instruções e muito mais.

Uma parte que descobri que as pessoas não estão falando muito, mas estou extremamente animado, é que a Meta parece estar começando a realmente investir em casos de uso relacionados a agentes. Eles mencionam que pretendem não apenas posicionar o Llama como um modelo, mas como um sistema para fornecer ferramentas que permitam que os desenvolvedores criem seus próprios agentes personalizados, bem como novos tipos de comportamento agêntico.

Eles têm um relatório público chamado "Sistema Agêntico Llama" onde eles mostram componentes inteiros da pilha Llama. Isso inclui coisas como Llama Guard, que é um modelo especializado treinado para moderar conteúdo, bem como Prompt Guard para evitar fugas de prisão e Koser para evitar código inseguro produzido por modelos de linguagem de grande porte.

Mas a parte mais emocionante para mim é a capacidade de chamada de ferramenta. A chamada de ferramenta provavelmente é a principal razão pela qual tive que usar o OpenAI, porque seus modelos são muito melhores em casos de uso de agentes relacionados à chamada de ferramenta. Se você não sabe o que é a chamada de ferramenta, é um conceito introduzido pelo OpenAI no final do ano passado. Essencialmente, é um tipo de modelo treinado para, dada uma tarefa do usuário, prever qual função precisa ser chamada, bem como a entrada para essa função, para que possamos pegar a saída JSON e realmente executar a função e enviar informações de volta para o modelo de linguagem de grande porte.

O Llama 3.1 é a versão mais recente do modelo de linguagem de grande porte de código aberto da Meta, e ele demonstrou um desempenho impressionante em uma variedade de capacidades. Alguns destaques-chave incluem:

• Codificação de Máscaras: O Llama 3.1 mostrou um bom desempenho em tarefas de preenchimento de máscaras, onde o modelo é solicitado a prever palavras ou tokens ausentes em um determinado contexto.
• Seguimento de Instruções: O modelo demonstrou habilidade em seguir instruções complexas e concluir tarefas, tornando-o uma ferramenta valiosa para a construção de aplicativos interativos.
• Comportamento Agêntico: A Meta tem investido pesadamente no desenvolvimento do Llama como um sistema para a construção de agentes personalizados e a habilitação de novos tipos de comportamento agêntico. Isso inclui componentes como o Llama Guard para moderação de conteúdo e o Prompt Guard para evitar saídas inseguras.
• Chamada de Ferramenta: Um dos aspectos mais emocionantes do Llama 3.1 é seu forte desempenho em tarefas de chamada de ferramenta. O modelo pode prever as funções apropriadas a serem chamadas e fornecer os insumos necessários, permitindo o desenvolvimento de aplicativos poderosos baseados em agentes.

A Meta está investindo pesadamente nos casos de uso relacionados a agentes do Llama, posicionando-o não apenas como um modelo de linguagem, mas como um sistema para fornecer ferramentas que permitam que os desenvolvedores construam seus próprios agentes personalizados, bem como novos tipos de comportamento agêntico.

O sistema agêntico Llama inclui vários componentes-chave:

1. Llama Guard: Um modelo especializado treinado para moderar conteúdo e evitar fugas de prisão.
2. Prompt Guard: Uma ferramenta para evitar a geração de código inseguro pelos modelos Llama.
3. Chamada de Ferramenta: Uma capacidade poderosa que permite que os modelos Llama prevejam as funções necessárias para concluir uma tarefa, bem como os insumos para essas funções. Isso permite que os agentes decomponham tarefas complexas em etapas menores e as executem de forma eficiente.

O modelo Llama 3.1 demonstra um desempenho promissor em várias capacidades, incluindo codificação de máscaras, seguimento de instruções e chamada de ferramenta. A capacidade de chamada de ferramenta é particularmente emocionante, pois permite o desenvolvimento de aplicativos poderosos baseados em agentes.

A chamada de ferramenta é um conceito introduzido pelo OpenAI, onde um modelo é treinado para prever a função que precisa ser chamada para concluir uma tarefa do usuário, bem como a entrada para essa função. Isso permite que o modelo gere uma saída JSON que pode ser executada para recuperar as informações necessárias e fornecer uma resposta ao usuário.

A capacidade de chamada de ferramenta do modelo Llama 3.1 parece se sair bem contra outros modelos como o GPT-4 e o Closet 3.5. No entanto, a maioria dos benchmarks de avaliação se concentra no uso de ferramenta em zero-shot, o que pode não representar com precisão o desempenho do modelo em casos de uso de agentes do mundo real.

Em primeiro lugar, queremos baixar o modelo Llama 3.1 em sua máquina local e usar o Olama, um pacote que permite executar esses modelos de linguagem de grande porte de código aberto em sua máquina local. Você pode abrir um terminal e digitar olama install llama-3.1 para baixar o modelo AB, que deve ser pequeno o suficiente para ser executado em seu MacBook Pro.

Em seguida, precisamos construir um agente Llama 3.1 que exista em seu espaço de trabalho do Slack e possa ser marcado para responder a perguntas e automatizar tarefas. Usaremos um pipeline de Geração Aumentada por Recuperação (RAG), que é mais fácil de configurar e suporta fontes de conhecimento dinâmicas como Notion ou Confluence.

Usaremos o Llama Cloud, uma plataforma de pipeline RAG totalmente gerenciada construída pela equipe do Llama Index, para conectar nossa base de conhecimento do Notion ao modelo Llama 3.1. Após configurar o índice do Llama Cloud, criaremos um bot personalizado do Slack e o conectaremos ao modelo Llama 3.1 em execução em nossa máquina local.

Então, criaremos um agente de conhecimento que possa recuperar informações relevantes do índice do Llama Cloud e gerar respostas. Para melhorar o desempenho do agente, também adicionaremos um agente Ox Trator para categorizar a consulta do usuário e delegar para o agente apropriado (agente de resposta ou agente de recuperação de conhecimento).

Finalmente, adicionaremos um agente de aprendizagem que possa salvar novas informações no banco de dados do Notion e acionar uma sincronização com o Llama Cloud, permitindo que o agente aprenda e melhore seu conhecimento ao longo do tempo.

Este guia passo a passo fornece uma maneira simples, mas poderosa, de construir um agente baseado no Llama 3.1 que possa ser integrado ao seu espaço de trabalho do Slack, distribuir conhecimento de domínio e aprender continuamente com novas informações.