Квин-агент - это новая и усовершенствованная платформа для создания ИИ-агентов, построенная на основе большой языковой модели Квин 2. Она интегрирует несколько мощных возможностей, включая вызов функций, интерпретатор кода, генерацию, усиленную поиском (RAG), и расширение для Chrome.

Эта платформа направлена на создание сложных ИИ-агентов, которые могут превзойти другие многоагентные системы. Одной из ключевых особенностей Квин-агента является его способность справляться со сложными задачами с большим размером контекста. Платформа смогла понять документы с контекстом до 1 миллиона токенов, превзойдя производительность RAG и собственных моделей с длинным контекстом.

Квин-агент использует четырехшаговый подход для обобщения большой языковой модели с контекстом 8K до контекста в миллион токенов:

1. Начальная модель: Платформа начинает с слабой модели чата с контекстом 8K.
2. Разработка агента: Модель используется для построения относительно сильного агента, способного справляться с контекстом в 1 миллион токенов.
3. Синтез данных: Агент используется для синтеза высококачественных данных для тонкой настройки, с автоматической фильтрацией для обеспечения качества.
4. Тонкая настройка модели: Синтетические данные используются для тонкой настройки предварительно обученной модели, в результате чего получается сильный чатбот с контекстом в 1 миллион токенов.

Квин-агент использовался для генерации данных для обучения новых моделей Квин с длинным контекстом. Это значительное достижение, поскольку подготовка достаточно длинных данных для тонкой настройки была проблемой в исследованиях больших языковых моделей, которые могут нативно обрабатывать последовательности в миллионы токенов.

Подход, используемый Квин-агентом, включает четырехшаговый процесс:

1. Начальная модель: Процесс начинается со слабой модели чата с контекстом 8K в качестве начальной модели.

2. Разработка агента: На этом этапе Квин-агент используется для построения относительно сильного агента, способного справляться с контекстом в 1 миллион.

3. Синтез данных: Затем агент используется для синтеза данных для тонкой настройки, с автоматической фильтрацией для обеспечения качества.

4. Тонкая настройка модели: Наконец, синтетические данные используются для тонкой настройки предварительно обученной модели, в результате чего получается сильный чатбот с контекстом в 1 миллион токенов.

Структура агента состоит из трех уровней сложности, каждый из которых построен на предыдущем:

1. Генерация, усиленная поиском:

   • Это простой подход, который обрабатывает контекст длиной 1 миллион.
   • Он использует алгоритм RAG (Retrieval Augmented Generation).
   • Он разделяет контекст на более короткие фрагменты, каждый из которых не превышает 512 токенов.
   • Он сохраняет только наиболее релевантные фрагменты в пределах 8K контекста.
   • Он включает три подшага:
     • Разделение инструкции и информации: Различает между инструктивной и неинструктивной частями запроса пользователя.
     • Извлечение ключевых слов: Выводит многоязычные ключевые слова из информационной части запроса.
     • Поиск релевантных фрагментов: Использует алгоритм BM25 для поиска наиболее релевантных фрагментов.

2. Построчное чтение:

   • Этот подход решает ограничения подхода RAG, который может пропустить релевантные фрагменты, если они не соответствуют ключевому слову в запросе.
   • Он включает три шага:
     • Оценка релевантности: Модель проверяет каждый фрагмент в 512 токенов на релевантность к запросу.
     • Поиск фрагментов: Релевантные предложения используются для поиска наиболее релевантных фрагментов в пределах 8K контекста с помощью алгоритма BM25.
     • Генерация ответа: Окончательный ответ генерируется на основе извлеченного контекста, аналогично методу RAG.

3. Пошаговые рассуждения:

   • Этот подход используется для вопросно-ответного взаимодействия на основе документов, где требуется многошаговое рассуждение.
   • Он использует агентов-инструментов, которые имеют несколько типов инструментов, таких как "Задать вопрос агенту LV3", "Подвопросы", "Обновить память" и другие.
   • Этот подход позволяет модели увеличить контекст до 1 миллиона токенов и улучшить качество различных функциональных возможностей.

Первый уровень структуры агента состоит из подхода генерации, усиленной поиском (RAG). Это простой подход, который уже неоднократно встречался ранее. Он обрабатывает контекст длиной 1 миллион и использует алгоритм RAG.

Процесс включает:

1. Разделение контекста: Контекст разделяется на более короткие фрагменты, причем каждый фрагмент не превышает 512 токенов.
2. Сохранение релевантных фрагментов: Сохраняются только наиболее релевантные фрагменты в пределах 8K контекста.
3. Разделение инструкции и информации: Используется отдельная инструкция для различения инструктивной и неинструктивной частей запросов пользователя.
4. Извлечение ключевых слов: Модель может выводить многоязычные ключевые слова из информационной части запроса.
5. Поиск релевантных фрагментов: Алгоритм BM25, традиционный метод поиска по ключевым словам, используется для поиска наиболее релевантных фрагментов.

Второй уровень структуры агента - это подход "Построчное чтение". Исследователи обнаружили, что первоначальный подход RAG (Retrieval Augmented Generation) был достаточно быстрым, но он мог пропускать релевантные фрагменты, если они не соответствовали ключевому слову в запросе. Чтобы решить эту проблему, они ввели более грубую стратегию с тремя шагами:

1. Оценка релевантности: Модель, которая проверяет каждый фрагмент в 512 токенов на его релевантность к запросу.
2. Поиск фрагментов: Релевантные предложения из запроса используются для поиска наиболее релевантных фрагментов в пределах 8K контекста с помощью алгоритма BM25.
3. Генерация ответа: Окончательный ответ генерируется на основе извлеченного контекста, аналогично методу RAG.

Этот подход "Построчное чтение" более тщательно обеспечивает, что релевантная информация не будет пропущена, даже если она не соответствует точным ключевым словам в запросе. Проверяя каждый фрагмент по отдельности, а затем извлекая наиболее релевантные, агент может построить более всестороннее понимание контекста для генерации качественного ответа.

В платформе Квин-агента подход пошаговых рассуждений используется для решения задачи вопросно-ответного взаимодействия на основе документов, где модели необходимо выполнять многошаговые рассуждения, чтобы прийти к правильному ответу.

Ключевые аспекты этого подхода:

1. Множественные агенты-инструменты: Платформа использует несколько специализированных агентов-инструментов, таких как "Задать вопрос агенту LV3", "Подвопросы", "Обновить память" и другие. Эти агенты могут быть вызваны для выполнения конкретных шагов рассуждения.

2. Итеративные рассуждения: Агент начинает с исходного вопроса и разбивает его на подвопросы. Затем он вызывает соответствующих агентов-инструментов, чтобы собрать необходимую информацию, обновить свою внутреннюю память и, наконец, сгенерировать ответ.

3. Расширение контекста: Используя агентов-инструментов, агент может расширить контекст за пределы первоначального ограничения в 8K токенов, что позволяет ему справляться с вопросами, требующими информации из более крупного корпуса документов.

Платформа Квин-агента продемонстрировала впечатляющие возможности в решении сложных задач с длинным контекстом. Благодаря серии экспериментов разработчики продемонстрировали значительные улучшения производительности, достигнутые этой новой платформой агентов.

Одним из ключевых достижений является способность обобщать большую языковую модель с контекстом 8K до контекста в миллион токенов. Это было достигнуто за счет использования многоуровневого подхода Квин-агента, включающего генерацию, усиленную поиском, построчное чтение и пошаговые рассуждения.

Эксперименты показали, что Квин-агент может превзойти традиционные алгоритмы RAG (Retrieval-Augmented Generation) и собственные модели с длинным контекстом по различным показателям. Это включает качество сгенерированных ответов, способность понимать и рассуждать о длинных документах, а также общую производительность в задачах вопросно-ответного взаимодействия на основе документов.

Кроме того, Квин-агент использовался для генерации высококачественных тренировочных данных для новых моделей Квин с длинным контекстом, что дополнительно повысило возможности базовой языковой модели. Этот подход использования платформы агента для синтеза данных для тонкой настройки оказался ценной стратегией в продвижении передового уровня больших языковых моделей.

Привет, ребята, добро пожаловать в очередное видео на канале World of AI. Сегодня мы рассмотрим Квин-агент, новую платформу, построенную на основе большой языковой модели Квин 2. Эта платформа интегрирует расширенные возможности, такие как вызов функций, интерпретатор кода, генерацию, усиленную поиском, а также расширение для Chrome.

Чтобы начать работу с Квин-агентом, вам сначала нужно перейти на веб-сайт Pi, ссылку на который я оставлю в описании ниже. Оттуда вы можете установить платформу агента на свой компьютер. После установки вы можете начать подготовку модельных служб и развертывание собственных агентов, используя предоставленные учебные пособия.

Одной из ключевых особенностей Квин-агента является его способность использовать новую модель Квин 2, которая является целью этого видео. Эта новая модель невероятно мощная и считается лучшей открытой платформой для ИИ-агентов. Она может хорошо справляться со сложными задачами, и особенно впечатляет, что им удалось обобщить большую языковую модель с контекстом 8K до контекста в миллион токенов, превзойдя производительность RAG и собственных моделей с длинным контекстом.

Чтобы начать работу с новой моделью Квин 2, вы можете следовать учебным пособиям на веб-сайте Pi. Там есть много отличных ресурсов, которые продемонстрируют, что вы можете сделать с этой новой платформой. Я определенно рекомендую вам проверить ее, так как она является игроком, меняющим правила игры, в мире разработки ИИ-агентов.