Meta está arrasando con su juego de código abierto, y parece que ya están trabajando en Llama 4, que podría lanzarse a finales de año. Sin embargo, Llama 3.1 ha demostrado un rendimiento realmente prometedor en múltiples capacidades diferentes, como el enmascaramiento de códigos, el seguimiento de instrucciones y más.

Una parte que encontré que la gente no está hablando mucho, pero estoy extremadamente emocionado, es que Meta parece estar comenzando a invertir realmente en casos de uso relacionados con agentes. Mencionan que tienen como objetivo no solo posicionar a Llama como un modelo, sino como un sistema para proporcionar herramientas que permitan a los desarrolladores construir sus propios agentes personalizados, así como nuevos tipos de comportamiento agéntico.

Tienen un informe público llamado el "Sistema Agéntico Llama" donde muestran componentes completos de la pila de Llama. Esto incluye cosas como Llama Guard, que es un modelo especializado entrenado para moderar contenido, así como Prompt Guard para evitar fugas de la cárcel y Koser para evitar código inseguro producido por modelos de lenguaje de gran tamaño.

Llama 3.1 es la última versión del modelo de lenguaje de gran tamaño de código abierto de Meta, y ha demostrado un rendimiento impresionante en una variedad de capacidades. Algunos aspectos clave incluyen:

• Enmascaramiento de códigos: Llama 3.1 ha mostrado un buen rendimiento en tareas de relleno de máscaras, donde se le pide al modelo que prediga las palabras o tokens faltantes en un contexto dado.
• Seguimiento de instrucciones: El modelo ha demostrado ser hábil en seguir instrucciones complejas y completar tareas, lo que lo convierte en una herramienta valiosa para la construcción de aplicaciones interactivas.
• Comportamiento agéntico: Meta ha estado invirtiendo fuertemente en el desarrollo de Llama como un sistema para construir agentes personalizados y permitir nuevos tipos de comportamiento agéntico. Esto incluye componentes como Llama Guard para la moderación de contenido y Prompt Guard para evitar salidas inseguras.
• Llamada de herramientas: Uno de los aspectos más emocionantes de Llama 3.1 es su sólido rendimiento en tareas de llamada de herramientas. El modelo puede predecir las funciones apropiadas a llamar y proporcionar los insumos necesarios, lo que permite el desarrollo de aplicaciones de agentes poderosas.

Meta está invirtiendo fuertemente en los casos de uso relacionados con agentes de Llama, posicionándolo no solo como un modelo de lenguaje, sino como un sistema para proporcionar herramientas que permitan a los desarrolladores construir sus propios agentes personalizados, así como nuevos tipos de comportamiento agéntico.

El sistema agéntico de Llama incluye varios componentes clave:

1. Llama Guard: Un modelo especializado entrenado para moderar contenido y evitar fugas de la cárcel.
2. Prompt Guard: Una herramienta para evitar la generación de código inseguro por parte de los modelos Llama.
3. Llamada de herramientas: Una capacidad poderosa que permite a los modelos Llama predecir las funciones necesarias para completar una tarea, así como los insumos para esas funciones. Esto permite que los agentes descompongan tareas complejas en pasos más pequeños y los ejecuten de manera eficiente.

El modelo Llama 3.1 demuestra un rendimiento prometedor en múltiples capacidades, incluyendo el enmascaramiento de códigos, el seguimiento de instrucciones y la llamada de herramientas. La capacidad de llamada de herramientas es particularmente emocionante, ya que permite el desarrollo de aplicaciones de agentes poderosas.

La llamada de herramientas es un concepto introducido por OpenAI, donde se entrena a un modelo para predecir la función que debe llamarse para completar una tarea del usuario, así como la entrada para esa función. Esto permite que el modelo genere una salida JSON que se puede ejecutar para recuperar la información necesaria y proporcionar una respuesta al usuario.

La capacidad de llamada de herramientas del modelo Llama 3.1 parece tener un buen rendimiento en comparación con otros modelos como GPT-4 y Closet 3.5. Sin embargo, la mayoría de los puntos de referencia de evaluación se enfocan en el uso de herramientas de cero tiros, lo que puede no representar con precisión el rendimiento del modelo en los casos de uso de agentes del mundo real.

En primer lugar, queremos descargar el modelo Llama 3.1 en tu máquina local y usar Olama, un paquete que te permite ejecutar estos modelos de lenguaje de gran tamaño de código abierto en tu máquina local. Puedes abrir una terminal y escribir olama install llama-3.1 para descargar el modelo AB, que debería ser lo suficientemente pequeño como para ejecutarlo en tu MacBook Pro.

A continuación, necesitamos construir un agente Llama 3.1 que exista en tu espacio de trabajo de Slack y que pueda etiquetarse para responder preguntas y automatizar tareas. Utilizaremos una canalización de Generación Aumentada por Recuperación (RAG), que es más fácil de configurar y admite fuentes de conocimiento dinámicas como Notion o Confluence.

Usaremos Llama Cloud, una plataforma de canalización RAG totalmente administrada construida por el equipo de Llama Index, para conectar nuestra base de conocimientos de Notion al modelo Llama 3.1. Después de configurar el índice de Llama Cloud, crearemos un bot personalizado de Slack y lo conectaremos al modelo Llama 3.1 que se ejecuta en nuestra máquina local.