Để chạy LLM-OS cục bộ, hãy làm theo các bước sau:

1. Tạo một môi trường ảo Python để giữ các phụ thuộc của bạn được cách ly.
2. Cài đặt các gói cần thiết, bao gồm các thư viện AWS tùy chọn cho khung công tác FI-Data.
3. Cài đặt Docker Desktop nếu bạn chưa có.
4. Tạo cơ sở mã LLM-OS bằng lệnh fi workspace create, và chọn mẫu "LLM-OS" để nhân bản.
5. Xuất khóa API OpenAI của bạn, vì bạn sẽ sử dụng GPT-4 làm mô hình ngôn ngữ.
6. Xuất khóa API Anthropic của bạn cho trợ lý nghiên cứu (Exa).
7. Chạy fi workspace up để khởi chạy ứng dụng LLM-OS, sẽ tạo các container Docker cần thiết cho cơ sở dữ liệu và ứng dụng LLM-OS.
8. Mở trình duyệt web của bạn và truy cập http://localhost:8501 để truy cập giao diện LLM-OS.
9. Nhập tên người dùng và bắt đầu tương tác với LLM-OS, có quyền truy cập vào máy tính, hệ thống tệp, tìm kiếm web và Yahoo Finance.
10. Bạn cũng có thể thêm các thành viên nhóm trợ lý khác, chẳng hạn như trợ lý Python, phân tích dữ liệu hoặc trợ lý đầu tư, như được minh họa trong các ví dụ khác.

Để kiểm tra LLM-OS, hãy thử thêm một bài đăng blog vào cơ sở kiến thức và hỏi nó một câu hỏi, chẳng hạn như "Sam Altman ước gì mình biết?". LLM-OS sẽ tìm kiếm cơ sở kiến thức của nó và sử dụng tạo ra kết quả được tăng cường bằng truy xuất.

Bạn cũng có thể kiểm tra máy tính bằng cách hỏi "10 giai thừa là bao nhiêu?", và LLM-OS sẽ sử dụng máy tính để cung cấp kết quả.

Cài đặt cục bộ giữ mọi thứ trong Docker, giúp dễ dàng quản lý và triển khai.

Để chạy LLM-OS trên AWS, hãy làm theo các bước sau:

1. Xuất thông tin đăng nhập AWS của bạn bằng cách cài đặt AWS CLI và chạy aws configure.
2. Thêm ID subnet của bạn vào tệp workspace_settings.py.
3. Thêm mật khẩu cho ứng dụng và cơ sở dữ liệu của bạn trong tệp workspace_settings.py.
4. Tạo các tài nguyên AWS của bạn bằng cách chạy fir workspace up --prod-infra-aws. Điều này sẽ thiết lập cơ sở hạ tầng cần thiết, bao gồm nhóm bảo mật, bí mật, cơ sở dữ liệu, bộ cân bằng tải và nhóm ECS.
5. Một khi các tài nguyên được tạo, bạn sẽ nhận được một DNS bộ cân bằng tải mà bạn có thể sử dụng để truy cập LLM-OS của bạn đang chạy trên AWS.
6. Bạn cũng có thể truy cập API LLM-OS bằng cách thêm /api vào DNS bộ cân bằng tải.
7. Kiểm tra LLM-OS bằng cách thêm một bài đăng blog và đặt câu hỏi. Bạn cũng có thể thử các tác vụ phức tạp hơn, chẳng hạn như so sánh cổ phiếu bằng cách sử dụng các công cụ Yahoo Finance.

Bây giờ chúng ta đã có LLM-OS chạy trên AWS, hãy thử chức năng của nó. Chúng ta sẽ thực hiện một số tác vụ để xem hệ thống hoạt động như thế nào.

Đầu tiên, hãy thêm một bài đăng blog vào cơ sở kiến thức và sau đó hỏi LLM-OS một câu hỏi về nội dung:

1. Thêm một bài đăng blog mới vào cơ sở kiến thức:

   • LLM-OS sẽ xử lý bài đăng blog và lưu trữ thông tin trong cơ sở dữ liệu vector.

2. Hỏi câu hỏi: "Sam Altman ước gì mình biết?"

   • LLM-OS sẽ tìm kiếm cơ sở kiến thức của nó, truy xuất thông tin liên quan và sử dụng tạo ra kết quả được tăng cường bằng truy xuất để cung cấp câu trả lời.

Tiếp theo, hãy kiểm tra chức năng máy tính:

3. Hỏi LLM-OS: "10 giai thừa là bao nhiêu?"
   • LLM-OS sẽ sử dụng khả năng tính toán của nó để tính giai thừa và trả về kết quả.

Cuối cùng, hãy khám phá khả năng của LLM-OS thực hiện các tác vụ phức tạp hơn:

4. Yêu cầu LLM-OS "Viết một bài so sánh giữa NVIDIA và AMD bằng dữ liệu Yahoo Finance."
   • LLM-OS sẽ khai thác quyền truy cập vào dữ liệu Yahoo Finance, cũng như khả năng tạo ra ngôn ngữ tự nhiên của nó, để cung cấp một phân tích so sánh về hai công ty.

Bằng cách kiểm tra các chức năng khác nhau này, bạn có thể thấy LLM-OS có thể hoạt động như một trợ lý AI mạnh mẽ, có khả năng truy cập và tích hợp nhiều nguồn tài nguyên để giải quyết các vấn đề phức tạp. Sự tích hợp liền mạch của mô hình ngôn ngữ lớn, cơ sở kiến thức và các công cụ bên ngoài thể hiện tiềm năng của khung này để xây dựng các ứng dụng AI nâng cao.

LLM OS (Large Language Model Operating System) là một khung công tác mạnh mẽ cho phép bạn xây dựng các trợ lý AI với bộ nhớ dài hạn, kiến thức ngữ cảnh và khả năng thực hiện các hành động bằng cách gọi hàm. Bằng cách tích hợp khung công tác Fi-data với LLM OS, bạn có thể tạo ra một giải pháp có thể mở rộng và thực tế cho nhu cầu AI của mình.

Các điểm nổi bật chính của việc triển khai LLM OS được đề cập trong hướng dẫn này là:

1. Khai thác GPT-4 làm Mô hình Ngôn ngữ Lớn: LLM OS sử dụng GPT-4 làm mô hình ngôn ngữ cơ bản, cung cấp các khả năng xử lý ngôn ngữ tự nhiên nâng cao.

2. Truy cập vào Công cụ Phần mềm 1.0: LLM OS cung cấp cho trợ lý AI quyền truy cập vào các công cụ phần mềm khác nhau, chẳng hạn như máy tính, hệ thống tệp và tìm kiếm web, để tăng cường khả năng giải quyết vấn đề.

3. Bộ nhớ Lâu dài và Lưu trữ Kiến thức: LLM OS sử dụng cơ sở dữ liệu Postgres và PGVector để lưu trữ bộ nhớ và kiến thức của trợ lý AI, cho phép lưu trữ và truy xuất dài hạn.

4. Khả năng Duyệt Internet: Trợ lý AI có thể duyệt internet để thu thập thêm thông tin, mở rộng cơ sở kiến thức của nó.

5. Ủy quyền cho Trợ lý Chuyên biệt: LLM OS cho phép trợ lý AI ủy quyền các tác vụ cho các trợ lý chuyên biệt khác, chẳng hạn như trợ lý Python hoặc phân tích dữ liệu, để có các khả năng chuyên sâu hơn.

6. Triển khai trên AWS: Hướng dẫn này minh họa cách triển khai LLM OS trên AWS, khai thác cơ sở hạ tầng dưới dạng mã để thiết lập các tài nguyên cần thiết, bao gồm cơ sở dữ liệu, bộ cân bằng tải và nhóm ECS.

Bằng cách làm theo hướng dẫn được cung cấp trong tài liệu Fi-data, bạn có thể dễ dàng thiết lập và chạy LLM OS cục bộ hoặc trên AWS, cho phép bạn khám phá các khả năng của khung công tác mạnh mẽ này và xây dựng các trợ lý AI của riêng mình.