要在本地運行 LLM-OS,請按照以下步驟操作:

1. 創建一個 Python 虛擬環境來隔離您的依賴項。
2. 安裝必要的軟件包,包括 FI-Data 框架的可選 AWS 庫。
3. 如果您還沒有安裝,請安裝 Docker Desktop。
4. 使用 fi workspace create 命令創建 LLM-OS 代碼庫,並選擇 "LLM-OS" 模板進行克隆。
5. 導出您的 OpenAI API 密鑰,因為您將使用 GPT-4 作為語言模型。
6. 導出您的 Anthropic API 密鑰以用於研究助手 (Exa)。
7. 運行 fi workspace up 啟動 LLM-OS 應用程序,這將創建數據庫和 LLM-OS 應用程序所需的 Docker 容器。
8. 打開您的網絡瀏覽器,並轉到 http://localhost:8501 以訪問 LLM-OS 界面。
9. 輸入用戶名並開始與 LLM-OS 互動,它可以訪問計算器、文件系統、網絡搜索和雅虎財經。
10. 您還可以添加其他助手團隊成員,如 Python 助手、數據分析師或投資助手,如其他示例所示。

要測試 LLM-OS,請嘗試將博客文章添加到知識庫,並詢問一個問題,例如 "Sam Altman 希望知道什麼?"。LLM-OS 將搜索其知識庫,並使用檢索增強生成來提供答案。

您還可以通過詢問 "10 的階乘是多少?" 來測試計算器,LLM-OS 將使用計算器提供結果。

本地設置將一切都包含在 Docker 中,這使得管理和部署變得更加容易。

要在 AWS 上運行 LLM-OS,請按照以下步驟操作:

1. 通過安裝 AWS CLI 並運行 aws configure 來導出您的 AWS 憑證。
2. 在 workspace_settings.py 文件中添加您的子網 ID。
3. 在 workspace_settings.py 文件中添加應用程序和數據庫的密碼。
4. 通過運行 fir workspace up --prod-infra-aws 創建您的 AWS 資源。這將設置必要的基礎設施,包括安全組、密鑰、數據庫實例、負載均衡器和 ECS 集群。
5. 資源創建完成後,您將獲得一個負載均衡器 DNS,您可以使用它來訪問在 AWS 上運行的 LLM-OS。
6. 您還可以通過在負載均衡器 DNS 後附加 /api 來訪問 LLM-OS API。
7. 通過添加博客文章並提出問題來測試 LLM-OS。您還可以嘗試更複雜的任務,如使用雅虎財經工具比較股票。

請記得查看 Fi Data 文檔,以獲取更詳細的說明和有關如何自定義和擴展 LLM-OS 的信息。

現在我們已經在 AWS 上運行了 LLM-OS,讓我們測試一下它的功能。我們將執行一些任務來了解系統的運作情況。

首先,讓我們將一篇博客文章添加到知識庫,然後問 LLM-OS 一個問題:

1. 向知識庫添加一篇新的博客文章:

   • LLM-OS 將處理博客文章並將信息存儲在向量數據庫中。

2. 提出問題: "Sam Altman 希望知道什麼?"

   • LLM-OS 將搜索其知識庫,檢索相關信息,並使用檢索增強生成來提供答案。

接下來,讓我們測試一下計算器功能:

3. 問 LLM-OS: "10 的階乘是多少?"
   • LLM-OS 將使用其計算器功能計算階乘並返回結果。

最後,讓我們探索 LLM-OS 執行更複雜任務的能力:

4. 要求 LLM-OS "使用雅虎財經數據比較 NVIDIA 和 AMD"。
   • LLM-OS 將利用其對雅虎財經數據的訪問,以及其自然語言生成能力,提供對這兩家公司的比較分析。

通過測試這些不同的功能,您可以看到 LLM-OS 如何作為一個強大的 AI 助手,能夠訪問和整合多種資源來解決複雜問題。大型語言模型、知識庫和外部工具的無縫集成展示了這個框架在構建高級 AI 應用程序方面的潛力。

llm OS (Large Language Model Operating System) 是一個強大的框架,可以讓您構建具有長期記憶、上下文知識和使用函數調用採取行動能力的 AI 助手。通過將 Fi-data 框架與 llm OS 集成,您可以創建一個可擴展且實用的 AI 解決方案。

本教程中介紹的 llm OS 實現的關鍵亮點包括:

1. 利用 GPT-4 作為大型語言模型: llm OS 使用 GPT-4 作為底層語言模型,提供先進的自然語言處理功能。

2. 訪問 Software 1.0 工具: llm OS 為 AI 助手提供了計算器、文件系統和網絡搜索等各種軟件工具,以增強其問題解決能力。

3. 持久性記憶和知識存儲: llm OS 利用 Postgres 數據庫和 PGVector 存儲 AI 助手的記憶和知識,實現長期保留和檢索。

4. 網絡瀏覽功能: AI 助手可以瀏覽互聯網以收集更多信息,擴展其知識庫。

5. 向專門助手委派任務: llm OS 允許 AI 助手將任務委派給其他專門的助手,如 Python 助手或數據分析師,以獲得更有針對性的功能。

6. 在 AWS 上部署: 本教程演示了如何在 AWS 上部署 llm OS,利用基礎設施即代碼來設置必要的資源,包括數據庫、負載均衡器和 ECS 集群。

通過遵循 Fi-data 文檔中提供的說明,您可以輕鬆地在本地或 AWS 上設置和運行 llm OS,讓您探索這個強大框架的功能,並構建自己的 AI 助手。