Чтобы запустить LLM-OS локально, выполните следующие шаги:

1. Создайте виртуальное окружение Python, чтобы изолировать ваши зависимости.
2. Установите необходимые пакеты, включая дополнительные библиотеки AWS для фреймворка FI-Data.
3. Установите Docker Desktop, если вы еще этого не сделали.
4. Создайте базу кода LLM-OS с помощью команды fi workspace create и выберите шаблон "LLM-OS" для клонирования.
5. Экспортируйте ваш ключ API OpenAI, так как вы будете использовать GPT-4 в качестве языковой модели.
6. Экспортируйте ваш ключ API Anthropic для помощника по исследованиям (Exa).
7. Запустите fi workspace up, чтобы запустить приложение LLM-OS, которое создаст необходимые контейнеры Docker для базы данных и приложения LLM-OS.
8. Откройте веб-браузер и перейдите по адресу http://localhost:8501, чтобы получить доступ к интерфейсу LLM-OS.
9. Введите имя пользователя и начните взаимодействовать с LLM-OS, который имеет доступ к калькулятору, файловой системе, веб-поиску и Yahoo Finance.
10. Вы также можете добавить других членов команды помощников, таких как помощник по Python, аналитик данных или инвестиционный помощник, как показано в других примерах.

Чтобы протестировать LLM-OS, попробуйте добавить блог-пост в базу знаний и задать вопрос, например, "Что Сэм Алтман хотел бы знать?". LLM-OS будет искать в своей базе знаний и использовать генерацию, усиленную поиском, чтобы предоставить ответ.

Вы также можете протестировать калькулятор, спросив "Что такое 10 факториал?", и LLM-OS использует калькулятор, чтобы предоставить результат.

Локальная настройка содержит все в Docker, что упрощает управление и развертывание.

Чтобы запустить LLM-OS на AWS, выполните следующие шаги:

1. Экспортируйте свои учетные данные AWS, установив AWS CLI и выполнив aws configure.
2. Добавьте ваши идентификаторы подсетей в файл workspace_settings.py.
3. Добавьте пароль для вашего приложения и базы данных в файл workspace_settings.py.
4. Создайте ваши ресурсы AWS, выполнив fir workspace up --prod-infra-aws. Это настроит необходимую инфраструктуру, включая группы безопасности, секреты, экземпляр базы данных, балансировщики нагрузки и кластер ECS.
5. После создания ресурсов вы получите DNS-адрес балансировщика нагрузки, который можно использовать для доступа к вашему LLM-OS, работающему на AWS.
6. Вы также можете получить доступ к API LLM-OS, добавив /api к DNS-адресу балансировщика нагрузки.
7. Протестируйте LLM-OS, добавив блог-пост и задав ему вопросы. Вы также можете попробовать более сложные задачи, такие как сравнение акций с помощью инструментов Yahoo Finance.

Не забудьте проверить документацию Fi Data для получения более подробных инструкций и информации о том, как настраивать и расширять LLM-OS.

Теперь, когда у нас есть LLM-OS, работающий на AWS, давайте протестируем его функциональность. Мы выполним несколько задач, чтобы увидеть, как работает система.

Прежде всего, давайте добавим блог-пост в базу знаний, а затем зададим LLM-OS вопрос о его содержимом:

1. Добавьте новый блог-пост в базу знаний:

   • LLM-OS обработает блог-пост и сохранит информацию в векторной базе данных.

2. Задайте вопрос: "Что Сэм Алтман хотел бы знать?"

   • LLM-OS будет искать в своей базе знаний, извлекать соответствующую информацию и использовать генерацию, усиленную поиском, чтобы предоставить ответ.

Затем давайте протестируем функциональность калькулятора:

3. Спросите LLM-OS: "Что такое 10 факториал?"
   • LLM-OS использует свои вычислительные возможности, чтобы вычислить факториал и вернуть результат.

Наконец, давайте исследуем способность LLM-OS выполнять более сложные задачи:

4. Попросите LLM-OS "Напишите сравнение между NVIDIA и AMD, используя данные Yahoo Finance".
   • LLM-OS будет использовать свой доступ к данным Yahoo Finance, а также свои возможности генерации естественного языка, чтобы предоставить сравнительный анализ двух компаний.

Протестировав эти различные функциональные возможности, вы можете увидеть, как LLM-OS может служить мощным помощником ИИ, способным получать доступ к нескольким ресурсам и интегрировать их для решения сложных проблем. Бесшовная интеграция крупной языковой модели, базы знаний и внешних инструментов демонстрирует потенциал этой платформы для создания передовых приложений ИИ.

LLM OS (Large Language Model Operating System) - это мощная платформа, которая позволяет вам создавать помощников ИИ с долгосрочной памятью, контекстными знаниями и возможностью выполнять действия с помощью вызова функций. Интегрируя фреймворк Fi-data с LLM OS, вы можете создать масштабируемое и практичное решение для ваших потребностей в ИИ.

Основные особенности реализации LLM OS, рассмотренные в этом руководстве, следующие:

1. Использование GPT-4 в качестве крупной языковой модели: LLM OS использует GPT-4 в качестве базовой языковой модели, обеспечивая расширенные возможности обработки естественного языка.

2. Доступ к инструментам Software 1.0: LLM OS предоставляет помощнику ИИ доступ к различным программным инструментам, таким как калькулятор, файловая система и веб-поиск, чтобы улучшить его способность решать задачи.

3. Постоянная память и хранение знаний: LLM OS использует базу данных Postgres и PGVector для хранения памяти и знаний помощника ИИ, обеспечивая долгосрочное хранение и извлечение.

4. Возможности просмотра Интернета: Помощник ИИ может просматривать Интернет, чтобы собирать дополнительную информацию и расширять свою базу знаний.

5. Делегирование специализированным помощникам: LLM OS позволяет помощнику ИИ делегировать задачи другим специализированным помощникам, таким как помощник по Python или аналитик данных, для более целевых возможностей.

6. Развертывание на AWS: В этом руководстве показано, как развернуть LLM OS на AWS, используя инфраструктуру как код для настройки необходимых ресурсов, включая базу данных, балансировщики нагрузки и кластер ECS.

Следуя инструкциям, предоставленным в документации Fi-data, вы можете легко настроить и запустить LLM OS локально или на AWS, что позволит вам исследовать возможности этой мощной платформы и создавать собственных помощников ИИ.