OS World là một dự án mới nhằm giải quyết thách thức về đánh giá và kiểm tra các tác nhân trí tuệ nhân tạo trong các môi trường máy tính thực tế. Các tính năng chính của OS World bao gồm:

1. Môi trường đa phương thức thống nhất: OS World cung cấp một môi trường thống nhất cho các tác nhân trí tuệ nhân tạo hoạt động trên các hệ điều hành, ứng dụng và giao diện khác nhau, bao gồm cả giao diện người dùng đồ họa (GUI) và giao diện dòng lệnh (CLI).

2. Không gian quan sát và hành động: OS World định nghĩa không gian quan sát, bao gồm môi trường desktop hiện tại, hướng dẫn, ảnh chụp màn hình và cây truy cập. Nó cũng định nghĩa không gian hành động, bao gồm các hành động như di chuyển chuột, nhấp chuột, nhập liệu bàn phím và nhiều hơn nữa.

3. Các tiêu chí đánh giá: OS World bao gồm các nhiệm vụ máy tính thực tế được ghi chú cẩn thận, với các cấu hình trạng thái ban đầu và các kịch bản đánh giá tùy chỉnh để đánh giá hiệu suất của các tác nhân trí tuệ nhân tạo.

4. Khả năng truy cập và liên kết: OS World cung cấp thông tin về khả năng truy cập và liên kết để cho phép các tác nhân trí tuệ nhân tạo diễn giải và thực hiện các hướng dẫn, vượt qua các hạn chế của các phương pháp như trình thông dịch mở rộng dựa trên ảnh chụp màn hình không chính xác.

5. Mã nguồn mở và có thể tái tạo: Dự án OS World, bao gồm cả bài báo nghiên cứu, mã nguồn và dữ liệu, là mã nguồn mở, cho phép tái tạo và phát triển thêm bởi cộng đồng nghiên cứu.

Một tác nhân thông minh được định nghĩa là một hệ thống nhận thức môi trường của nó thông qua cảm biến và tác động lên môi trường đó thông qua bộ tác động, theo một cách hợp lý để đạt được mục tiêu của nó. Các thành phần chính của một tác nhân thông minh là:

1. Cảm biến: Phương tiện của tác nhân để nhận thức môi trường, chẳng hạn như camera, micro hoặc các thiết bị đầu vào khác.

2. Bộ tác động: Phương tiện của tác nhân để tác động lên môi trường, chẳng hạn như động cơ, loa hoặc các thiết bị đầu ra khác.

3. Tự chủ: Khả năng của tác nhân hoạt động mà không cần kiểm soát trực tiếp của con người.

4. Khả năng phản ứng: Khả năng của tác nhân để nhận thức và phản ứng lại với những thay đổi trong môi trường của nó một cách kịp thời.

5. Khả năng chủ động: Khả năng của tác nhân thể hiện hành vi hướng mục tiêu bằng cách chủ động thực hiện các mục tiêu của nó.

6. Khả năng xã hội: Khả năng của tác nhân tương tác với các tác nhân hoặc con người khác trong môi trường của nó.

Kiểm soát máy tính và thực hiện các nhiệm vụ trong các môi trường kỹ thuật số đã là một thách thức lớn đối với các tác nhân trí tuệ nhân tạo. Bài thuyết trình nêu bật các vấn đề chính:

1. Liên kết hướng dẫn với các hành động: Chỉ cung cấp hướng dẫng từng bước là không đủ để một tác nhân trí tuệ nhân tạo thực hiện một nhiệm vụ thành công. Tác nhân cần phải có khả năng liên kết những hướng dẫn đó với các hành động thực tế có thể kiểm soát giao diện máy tính, dù là chuột, bàn phím hay các phương thức nhập khác.

2. Các hệ thống đóng và độc quyền: Các hệ điều hành như macOS và Windows là đóng và độc quyền, khiến việc các tác nhân trí tuệ nhân tạo kiểm soát chính xác môi trường máy tính trở nên khó khăn. Các phương pháp hiện tại, như sử dụng các tính năng truy cập và lưới ảnh chụp màn hình, là không chính xác và kém hiệu quả.

3. Thiếu phản hồi và lặp lại: Không có khả năng nhận thức môi trường và nhận phản hồi, các tác nhân trí tuệ nhân tạo gặp khó khăn trong việc tạo ra các kế hoạch chính xác, nhiều bước để thực hiện các nhiệm vụ. Thiếu tương tác với môi trường thực tế hạn chế khả năng của họ học hỏi và cải thiện.

4. Độ phức tạp của các nhiệm vụ máy tính thực tế: Nhiều nhiệm vụ máy tính thực tế liên quan đến nhiều ứng dụng, giao diện và quy trình làm việc. Việc dịch các hướng dẫn cấp cao thành các hành động cần thiết để hoàn thành những nhiệm vụ phức tạp này là một thách thức lớn đối với các tác nhân trí tuệ nhân tạo hiện tại.

Dự án OS World nhằm cung cấp một môi trường máy tính thực tế có thể mở rộng, phục vụ như một môi trường tác nhân đa phương thức thống nhất để đánh giá các nhiệm vụ máy tính mở rộng. Bằng cách cung cấp quyền truy cập vào các hệ điều hành, ứng dụng và giao diện khác nhau, cùng với các quan sát và phản hồi chi tiết, OS World cho phép các tác nhân trí tuệ nhân tạo liên kết các hướng dẫn của họ với các hành động chính xác và lặp lại hiệu suất của họ.

Dự án OS World nhằm cung cấp một môi trường mạnh mẽ và có thể mở rộng để đánh giá hiệu suất của các tác nhân trí tuệ nhân tạo trong việc thực hiện các nhiệm vụ máy tính thực tế. Các khía cạnh chính của quá trình đánh giá này là:

1. Hình thức hóa nhiệm vụ: Một nhiệm vụ tác nhân được hình thức hóa như một Quá trình ra quyết định Markov một phần quan sát được (POMDP), với không gian trạng thái, không gian quan sát, không gian hành động, hàm chuyển tiếp và hàm phần thưởng được xác định.

2. Các phương thức quan sát: Các tác nhân có thể nhận được các quan sát thông qua các phương thức khác nhau, bao gồm cây truy cập, ảnh chụp màn hình và một tập hợp các tọa độ hình chữ nhật (dấu). Những thứ này cung cấp các mức độ thông tin khác nhau về trạng thái hiện tại của môi trường.

3. Không gian hành động: Các tác nhân có thể thực hiện một loạt các hành động để tương tác với môi trường máy tính, chẳng hạn như di chuyển chuột, nhấp chuột, nhập liệu bàn phím, cuộn và sử dụng phím tắt.

4. Đánh giá thực hiện nhiệm vụ: Mỗi nhiệm vụ được ghi chú cẩn thận với hướng dẫn thực tế, cấu hình trạng thái ban đầu và một kịch bản đánh giá tùy chỉnh kiểm tra xem liệu nhiệm vụ có được hoàn thành thành công hay không.

5. Các nhiệm vụ chuẩn: Dự án OS World bao gồm 369 nhiệm vụ máy tính thực tế liên quan đến các ứng dụng web và desktop, các thao tác tệp tin và các quy trình làm việc đa ứng dụng, cung cấp một tập hợp toàn diện các tiêu chuẩn để đánh giá hiệu suất của tác nhân.

Dự án OS World là một bước tiến đáng kể trong lĩnh vực đánh giá các tác nhân trí tuệ nhân tạo. Bằng cách cung cấp một môi trường mã nguồn mở và tiêu chuẩn cho các tác nhân tương tác với các hệ thống và ứng dụng máy tính thực tế, nó giải quyết một khoảng trống quan trọng trong tình trạng hiện tại của việc đánh giá trí tuệ nhân tạo.

Điểm nổi bật chính của dự án OS World là:

1. Tương tác đa phương thức: Môi trường hỗ trợ nhiều phương thức đầu vào khác nhau, bao gồm ảnh chụp màn hình, cây truy cập và tập hợp các dấu, cho phép các tác nhân nhận thức và tương tác với môi trường máy tính theo cách tự nhiên và toàn diện hơn.

2. Các nhiệm vụ thực tế: Dự án bao gồm một tập hợp đa dạng 369 nhiệm vụ máy tính thực tế, được lựa chọn cẩn thận từ hướng dẫn của người dùng, liên quan đến các quy trình nhiều bước trên các ứng dụng và hệ điều hành khác nhau.

3. Đánh giá nghiêm ngặt: Các nhiệm vụ được kèm theo các cấu hình trạng thái ban đầu chi tiết và các kịch bản đánh giá tùy chỉnh, cho phép đánh giá hiệu suất của tác nhân một cách tiêu chuẩn và khách quan.

4. Sẵn có mã nguồn mở: Toàn bộ dự án, bao gồm cả mã nguồn, dữ liệu và bài báo nghiên cứu, được công khai, thúc đẩy sự hợp tác và các bước tiến triển tiếp theo trong lĩnh vực này.