В этом разделе мы рассмотрим использование локальных языковых моделей (LLM) с фреймворком Graph RAG (Retrieval-Augmented Generation). Хотя использование локальной модели может принести некоторые преимущества, существуют также значительные проблемы, которые необходимо учитывать.

Одним из основных преимуществ использования локальной LLM является потенциальная экономия средств. Доступ к удаленному API, таким как OpenAI, может быть дорогостоящим, особенно для крупномасштабных приложений. Запуская локальную модель, вы можете избежать этих расходов на API и потенциально снизить общие эксплуатационные расходы вашей системы Graph RAG.

Однако выбор LLM имеет решающее значение для Graph RAG. В отличие от традиционных систем, основанных на поиске и дополнении, где модель встраивания играет более важную роль, LLM в Graph RAG отвечает за извлечение сущностей, распознавание отношений и генерацию резюме. Более мелкая или менее способная LLM, такая как модель Llama-38B, используемая в примере, может испытывать трудности с эффективным выполнением этих задач, что приводит к неоптимальным результатам.

Пример показывает, что производительность модели Llama-38B не так хороша, как модель GPT-4, используемая в предыдущем видео. Резюме, сгенерированное Llama-38B, не так точно отражает основную тему книги, как вывод GPT-4. Это подчеркивает важность использования более крупной и более мощной LLM для приложений Graph RAG.

Для решения этой проблемы видео предлагает исследовать использование более крупных моделей, таких как модель Llama-370B от Gro. Однако это влечет за собой собственный набор соображений, таких как необходимость управления ограничениями скорости и потенциально более длительное время обработки, необходимое для индексации и запросов.

Чтобы настроить локальную среду LLM для системы Graph Retrieval Augmented Generation (Graph RAG), выполните следующие шаги:

1. Загрузите и установите AMA: Сначала вам нужно загрузить и установить AMA (Anthropic Model API) на вашем локальном компьютере. Это позволит вам использовать локальную языковую модель, такую как модель Llama 3, для вашего приложения Graph RAG.

2. Выберите модель LLM: После настройки AMA вам нужно выбрать языковую модель, которую вы хотите использовать. В данном случае мы будем использовать модель Llama 3, но рекомендуется использовать более крупную модель, если ваше оборудование может ее поддерживать, так как более крупные модели, как правило, лучше работают с Graph RAG.

3. Настройте параметры Graph RAG: Далее вам нужно обновить файл settings.yml в вашем проекте Graph RAG. Установите раздел llm на использование API AMA, предоставив ключ API (который в данном случае является "AMA"), название модели (Llama 3) и базовый URL-адрес API (http://localhost:11434/v1).

4. Запустите локальную индексацию: Чтобы создать индекс для ваших документов, запустите команду python dm_craft_rank.index. Это обработает входные файлы в указанной папке и сгенерирует необходимые встраивания и файлы индекса.

5. Протестируйте локальную LLM с Graph RAG: После завершения индексации вы можете протестировать локальную LLM, запустив команду python dm_graph_rag.query с запросом "what is the main theme of the book". Это использует локальную модель Llama 3 для генерации ответа на основе созданного графа.

Чтобы использовать локальную модель с Graph RAG, вам сначала нужно загрузить и настроить модель AMA (Anthropic) на вашем локальном компьютере. В данном случае мы будем использовать модель Llama 3, но рекомендуется использовать более крупную модель, если ваше оборудование может ее поддерживать.

Модель Llama 3 следует тому же стандарту API, что и OpenAI, что упрощает замену сервера API OpenAI на новую конечную точку AMA. Базовый URL-адрес по умолчанию для API AMA - http://localhost:11434/v1, а ключ API просто "AMA".

Затем вам нужно обновить файл settings.yml в вашем проекте Graph RAG, чтобы указать новую конечную точку API AMA и модель. Установите llm.api_key на "AMA", llm.model на "Llama 3" и llm.base_api на локальную конечную точку API AMA.

Если вы используете API Gro для обслуживания модели, вам нужно обновить llm.api_key на конечную точку API Gro и llm.model на более крупную модель Llama 370 миллиардов. Кроме того, вам нужно установить llm.requests_per_minute на более низкое значение (например, 30), чтобы избежать тайм-аутов.

Процесс индексации может занять значительное время, особенно при использовании более крупной модели. На M2 MacBook Pro с 96 ГБ оперативной памяти процесс индексации занял около 27 минут, чтобы завершить 50-58% задачи.

После завершения индексации вы можете запустить запрос Graph RAG с тем же запросом, что и в предыдущем видео. Ответ от модели Llama 3 может быть не таким хорошим, как ответ от модели GPT-4, поскольку выбор языковой модели более критичен для Graph RAG по сравнению с традиционными системами вопросов и ответов.

Использование локальной языковой модели, такой как Llama 3, для системы Graph Rack может быть более сложным по сравнению с использованием более мощной модели, такой как GPT-4. Основные причины этого:

1. Извлечение сущностей и отношений: Качество знаний, построенных системой Graph Rack, в значительной степени зависит от способности LLM точно извлекать сущности и их взаимосвязи из входного текста. Более мелкие модели, такие как Llama 3, могут испытывать трудности с этой задачей, что приводит к созданию неполноценного графа знаний.

2. Генерация резюме: Graph Rack полагается на LLM для генерации резюме выявленных сообществ в графе знаний. Более мощная LLM, такая как GPT-4, лучше подходит для этой задачи, производя более связные и информативные резюме.

3. Разработка подсказок: Различные LLM по-разному реагируют на одну и ту же подсказку. Оптимизация подсказок для более мелкой модели, такой как Llama 3, требует больших усилий и экспериментов по сравнению с использованием GPT-4, который показывает лучшую производительность в режиме немногих примеров.

Результаты демонстрируют, что использование более крупной и мощной LLM, такой как модель Llama 370B от Cohere, может обеспечить значительно лучшую производительность для системы Graph Rack по сравнению с моделью Llama 3. Однако это сопряжено с увеличением времени обработки и потенциальными проблемами с ограничением скорости при использовании API Cohere.

Разработка подсказок является критически важным аспектом при работе с крупными языковыми моделями (LLM) в контексте систем, основанных на графах для поиска и дополненной генерации (graph-RAG). Выбор LLM имеет более решающее значение в graph-RAG по сравнению с традиционными системами поиска, поскольку LLM играет ключевую роль в точном извлечении сущностей, распознавании отношений и генерации связных резюме.

При использовании более мелкой LLM, такой как Lama-38B, модель может испытывать трудности с точным извлечением сущностей и отношений из текста, что приводит к созданию неполноценного графа знаний. Это, в свою очередь, приводит к неоптимальным резюме и ответам. В отличие от этого, более крупные LLM, такие как Lama-370B или GPT-4, обладают большей способностью понимать нюансы текста и генерировать более точные и информативные выходные данные.

Однако просто использование более крупной LLM не является универсальным решением. Разработка подсказок становится критически важной, чтобы обеспечить предоставление LLM соответствующего контекста и инструкций для генерации желаемых ответов. Подсказки, которые хорошо работают для одной LLM, могут быть не столь эффективными для другой, поскольку различные модели имеют уникальные сильные и слабые стороны.

Чтобы раскрыть весь потенциал систем graph-RAG, важно тщательно разрабатывать подсказки, адаптированные к конкретной используемой LLM. Это может включать в себя экспериментирование с различными форматами, длиной и стилями подсказок, чтобы найти наиболее эффективный подход для данной LLM и задачи. Кроме того, отслеживание производительности модели и итеративное совершенствование подсказок может привести к значительному улучшению эффективности всей системы.

В этом разделе мы исследуем альтернативные реализации фреймворка Graph RAG и обсудим потенциальные будущие направления для этого подхода.

Хотя предыдущее видео продемонстрировало использование локальной модели Llama с системой Graph RAG, результаты подчеркнули важность выбора высококачественной языковой модели для оптимальной производительности. Выбор языковой модели является критическим фактором в подходе Graph RAG, поскольку он напрямую влияет на извлечение сущностей и идентификацию отношений, что имеет решающее значение для построения графа знаний.

Одним из потенциальных будущих направлений является исследование использования более крупных и мощных языковых моделей, таких как модель Llama 370 миллиардов, которая продемонстрировала улучшенные результаты по сравнению с более мелкой моделью Llama 38 миллиардов. Однако использование этих более крупных моделей может сопровождаться дополнительными проблемами, такими как увеличение вычислительных требований и потенциальные проблемы с ограничением скорости при использовании внешних сервисов API, таких как Gro.

Еще одной областью исследования может быть изучение альтернативных моделей встраивания для замены модели встраивания OpenAI, которая в настоящее время не имеет стандартизированного API между различными поставщиками. Разработка более гибкой и совместимой интеграции модели встраивания может повысить общую гибкость и переносимость системы Graph RAG.

Кроме того, важность разработки подсказок для различных языковых моделей не должна быть упущена из виду. Как упоминалось в видео, одна и та же подсказка может не работать одинаково хорошо для разных языковых моделей, и адаптация подсказок к конкретным сильным сторонам и возможностям каждой модели может привести к улучшению производительности.

Более того, исследование альтернативных реализаций фреймворка Graph RAG, разработанных другими исследователями или организациями, может предоставить ценные идеи и возможности для дальнейшего развития. Сравнение и сопоставление различных подходов может выявить новые методики или оптимизации, которые можно включить в систему Graph RAG.

Использование локальных моделей, таких как Lama 3, с Graph Rag не рекомендуется, поскольку выбор языковой модели (LLM) играет критическую роль в производительности системы Graph Rag. Более крупные и более мощные LLM, такие как модель Lama 370 миллиардов, необходимы для точного извлечения сущностей и отношений из текста, что является важным для построения высококачественного графа знаний.

Хотя использование локальной модели может снизить затраты, плата за это - значительное снижение качества результатов. Эксперименты автора показали, что резюме, сгенерированные моделью Lama 3, не так хороши, как те, которые были созданы моделью GPT-4, использованной в предыдущем видео.

Чтобы добиться лучших результатов с Graph Rag, важно использовать более крупную и более мощную LLM, даже если это влечет за собой более высокие зат