要在本地运行 LLM-OS,请按照以下步骤操作:

1. 创建一个 Python 虚拟环境来隔离您的依赖项。
2. 安装必要的软件包,包括 FI-Data 框架的可选 AWS 库。
3. 如果您还没有安装,请安装 Docker Desktop。
4. 使用 fi workspace create 命令创建 LLM-OS 代码库,并选择 "LLM-OS" 模板进行克隆。
5. 导出您的 OpenAI API 密钥,因为您将使用 GPT-4 作为语言模型。
6. 导出您的 Anthropic API 密钥以供研究助手 (Exa) 使用。
7. 运行 fi workspace up 启动 LLM-OS 应用程序,这将创建数据库和 LLM-OS 应用程序所需的 Docker 容器。
8. 打开您的网络浏览器,访问 http://localhost:8501 以访问 LLM-OS 界面。
9. 输入用户名并开始与 LLM-OS 互动,它可以访问计算器、文件系统、网络搜索和雅虎财经。
10. 您还可以添加其他助手团队成员,如 Python 助手、数据分析师或投资助手,如其他示例所示。

要测试 LLM-OS,请尝试向知识库添加一篇博客文章,并询问"Sam Altman 希望知道什么?"。LLM-OS 将搜索其知识库并使用检索增强生成来提供答案。

您还可以通过询问"10 的阶乘是多少?"来测试计算器,LLM-OS 将使用计算器提供结果。

本地设置将一切都包含在 Docker 中,这使得管理和部署变得更加容易。

要在 AWS 上运行 LLM-OS,请按照以下步骤操作:

1. 通过安装 AWS CLI 并运行 aws configure 导出您的 AWS 凭证。
2. 将您的子网 ID 添加到 workspace_settings.py 文件中。
3. 在 workspace_settings.py 文件中添加应用程序和数据库的密码。
4. 通过运行 fir workspace up --prod-infra-aws 创建您的 AWS 资源。这将设置必要的基础设施,包括安全组、密钥、数据库实例、负载均衡器和 ECS 集群。
5. 资源创建完成后,您将获得一个负载均衡器 DNS,您可以使用它来访问在 AWS 上运行的 LLM-OS。
6. 您还可以通过在负载均衡器 DNS 后添加 /api 来访问 LLM-OS API。
7. 通过添加博客文章并询问问题来测试 LLM-OS。您还可以尝试更复杂的任务,如使用雅虎财经工具比较股票。

请记得查看 Fi Data 文档,了解更详细的说明和有关如何自定义和扩展 LLM-OS 的信息。

现在我们已经在 AWS 上运行了 LLM-OS,让我们测试一下它的功能。我们将执行一些任务来了解系统的运作情况。

首先,让我们向知识库添加一篇博客文章,然后问 LLM-OS 一个问题:

1. 向知识库添加一篇新的博客文章:

   • LLM-OS 将处理博客文章并将信息存储在向量数据库中。

2. 问题:"Sam Altman 希望知道什么?"

   • LLM-OS 将搜索其知识库,检索相关信息,并使用检索增强生成来提供答案。

接下来,让我们测试一下计算器功能:

3. 问 LLM-OS:"10 的阶乘是多少?"
   • LLM-OS 将使用其计算器功能计算阶乘并返回结果。

最后,让我们探索 LLM-OS 执行更复杂任务的能力:

4. 让 LLM-OS "使用雅虎财经数据比较 NVIDIA 和 AMD"。
   • LLM-OS 将利用其对雅虎财经数据的访问权限,以及其自然语言生成能力,提供对这两家公司的比较分析。

通过测试这些不同的功能,您可以看到 LLM-OS 如何作为一个强大的 AI 助手,能够访问和整合多种资源来解决复杂问题。大型语言模型、知识库和外部工具的无缝集成展示了这个框架在构建高级 AI 应用程序方面的潜力。

llm OS (Large Language Model Operating System) 是一个强大的框架,允许您构建具有长期记忆、上下文知识和使用函数调用执行操作能力的 AI 助手。通过将 Fi-data 框架与 llm OS 集成,您可以创建一个可扩展且实用的 AI 解决方案。

本教程中介绍的 llm OS 实现的关键亮点包括:

1. 利用 GPT-4 作为大型语言模型: llm OS 使用 GPT-4 作为底层语言模型,提供先进的自然语言处理功能。

2. 访问 Software 1.0 工具: llm OS 为 AI 助手提供了计算器、文件系统和网络搜索等各种软件工具,增强其问题解决能力。

3. 持久性内存和知识存储: llm OS 利用 Postgres 数据库和 PGVector 存储 AI 助手的记忆和知识,实现长期保留和检索。

4. 互联网浏览功能: AI 助手可以浏览互联网以收集更多信息,扩展其知识库。

5. 向专门助手委派任务: llm OS 允许 AI 助手将任务委派给其他专门的助手,如 Python 助手或数据分析师,以获得更专业的功能。

6. 在 AWS 上部署: 本教程演示了如何在 AWS 上部署 llm OS,利用基础设施即代码设置必要的资源,包括数据库、负载均衡器和 ECS 集群。

通过遵循 Fi-data 文档中提供的说明,您可以轻松地在本地或 AWS 上设置和运行 llm OS,让您探索这个强大框架的功能,并构建自己的 AI 助手。