Meta активно работает над своим открытым языковым моделью Llama, и, похоже, они уже работают над Llama 4, которая может быть выпущена к концу года. Тем не менее, Llama 3.1 продемонстрировала действительно многообещающие результаты в различных областях, таких как маскирование кода, следование инструкциям и многое другое.

Одна из частей, о которой, как я считаю, люди не так много говорят, но которая меня чрезвычайно волнует, заключается в том, что Meta, похоже, начинает серьезно инвестировать в использование агентов. Они упоминают, что их цель - позиционировать Llama не просто как модель, а как систему, которая предоставляет инструменты, позволяющие разработчикам создавать свои собственные пользовательские агенты, а также новые типы агентского поведения.

У них есть публичный отчет под названием "Llama Agentic System", в котором они демонстрируют целые компоненты стека Llama. Это включает в себя такие вещи, как Llama Guard, который является специализированной моделью, обученной для модерации контента, а также Prompt Guard для предотвращения взлома и Koser для предотвращения небезопасного кода, производимого крупными языковыми моделями.

Llama 3.1 - это последняя версия открытого языкового модели Meta, и она продемонстрировала впечатляющие результаты в различных областях. Некоторые ключевые моменты:

• Маскирование кода: Llama 3.1 показала сильные результаты в задачах заполнения пропусков, где модель должна предсказывать отсутствующие слова или токены в заданном контексте.
• Следование инструкциям: Модель продемонстрировала способность эффективно следовать сложным инструкциям и выполнять задачи, что делает ее ценным инструментом для создания интерактивных приложений.
• Агентское поведение: Meta активно инвестирует в развитие Llama как системы для создания пользовательских агентов и реализации новых типов агентского поведения. Это включает в себя такие компоненты, как Llama Guard для модерации контента и Prompt Guard для предотвращения небезопасных выходных данных.
• Вызов инструментов: Одним из самых захватывающих аспектов Llama 3.1 является ее сильная производительность в задачах вызова инструментов. Модель может предсказывать необходимые функции для вызова и предоставлять необходимые входные данные, что позволяет разрабатывать мощные агентские приложения.

Meta активно инвестирует в использование агентов с Llama, позиционируя ее не просто как языковую модель, а как систему, предоставляющую инструменты, которые позволяют разработчикам создавать свои собственные пользовательские агенты, а также новые типы агентского поведения.

Система агентов Llama включает в себя несколько ключевых компонентов:

1. Llama Guard: Специализированная модель, обученная для модерации контента и предотвращения взлома.
2. Prompt Guard: Инструмент для предотвращения генерации небезопасного кода моделями Llama.
3. Вызов инструментов: Мощная возможность, позволяющая моделям Llama предсказывать необходимые функции для выполнения задачи, а также входные данные для этих функций. Это позволяет агентам разбивать сложные задачи на более мелкие шаги и эффективно их выполнять.

Модель Llama 3.1 демонстрирует многообещающие результаты в области вызова инструментов, превосходя модели, такие как GPT-4 и Closure 3.5, в нулевом использовании инструментов. Однако реальные сценарии использования агентов более сложны и требуют многоходовых диалогов, планирования и способности к рассуждению.

Llama 3.1 была специально обучена для таких многоходовых диалогов, позволяя модели составлять пошаговые планы, последовательно вызывать инструменты и проводить рассуждения на основе результатов каждого вызова инструмента. Это значительный шаг вперед в создании надежных и способных агентов.

Команда Llama также предоставила примеры подсказок, демонстрирующих возможность вызова инструментов, которые можно использовать для тонкой настройки и создания специализированных агентских моделей. Эта прозрачность и доступность упрощают для разработчиков использование возможностей Llama в их собственных агентских приложениях.

Во-первых, мы хотим загрузить модель Llama 3.1 на ваш локальный компьютер и использовать Olama, пакет, который позволяет запускать эти открытые языковые модели на вашем локальном компьютере. Вы можете открыть терминал и ввести olama install llama-3.1, чтобы загрузить модель AB, которая должна быть достаточно небольшой, чтобы работать на вашем MacBook Pro.

Затем нам нужно создать агента Llama 3.1, который будет существовать в вашем рабочем пространстве Slack и к которому можно будет обращаться для ответов на вопросы и автоматизации задач. Мы будем использовать конвейер Retrieval-Augmented Generation (RAG), который проще настроить и поддерживает динамические источники знаний, такие как Notion или Confluence.

Мы будем использовать Llama Cloud, полностью управляемую платформу RAG, построенную командой Llama Index, чтобы связать нашу базу знаний Notion с моделью Llama 3.1. После настройки индекса Llama Cloud мы создадим пользовательского бота Slack и свяжем его с моделью Llama 3.1, работающей на нашем локальном компьютере.

Модель Llama 3.1 от Meta демонстрирует многообещающие результаты в различных областях, включая маскирование кода, следование инструкциям и вызов инструментов. Возможность вызова инструментов в Llama 3.1 особенно интересна, так как она предоставляет альтернативу моделям OpenAI для создания автономных агентов.

Чтобы использовать мощь Llama 3.1 для использования, связанного с агентами, мы можем построить агента на основе Llama, который будет находиться в рабочем пространстве Slack. Этот агент может потреблять корпоративную документацию и знания предметной области, а затем распространять эту информацию среди сотрудников по запросу. Агент также может непрерывно совершенствоваться, наблюдая за новыми знаниями и автоматизируя простые повторяющиеся задачи.

Процесс построения этого агента Llama включает в себя:

1. Загрузку модели Llama 3.1 и запуск ее локально с использованием пакета Olama.
2. Выбор между тонкой настройкой модели или построением конвейера с расширенным поиском (RAP) с использованием платформы, такой как Llama Cloud.
3. Подключение агента Llama к Slack с помощью пользовательского бота и интеграция его с локальной моделью Llama и базой знаний Llama Cloud.
4. Реализацию функциональности агента, включая извлечение знаний, рефлексию и возможности самообучения.