يُعتبر مشروع OS World مشروعًا جديدًا يهدف إلى معالجة تحدي قياس أداء وفحص وكلاء الذكاء الاصطناعي في بيئات الحاسوب الحقيقية. وتشمل الميزات الرئيسية لـ OS World ما يلي:

1. بيئة متعددة الوسائط موحدة: توفر OS World بيئة موحدة لوكلاء الذكاء الاصطناعي للعمل عبر مختلف أنظمة التشغيل والتطبيقات والواجهات، بما في ذلك واجهات المستخدم الرسومية (GUI) وواجهات سطر الأوامر (CLI).

2. مساحات الملاحظة والإجراء: تُعرِّف OS World مساحة الملاحظة، والتي تشمل بيئة سطح المكتب الحالية والتعليمات والصور الفوتوغرافية وأشجار إمكانية الوصول. كما تُعرِّف مساحة الإجراء، والتي تشمل إجراءات مثل تحركات الماوس والنقرات ومدخلات لوحة المفاتيح وغير ذلك.

3. مقاييس التقييم: تتضمن OS World مهام الكمبيوتر الحقيقية المعلمة بعناية، مع تكوينات الحالة الأولية وأدوات تقييم مخصصة لتقييم أداء وكلاء الذكاء الاصطناعي.

4. إمكانية الوصول والتأسيس: توفر OS World معلومات إمكانية الوصول والتأسيس لتمكين وكلاء الذكاء الاصطناعي من تفسير وتنفيذ التعليمات، وتجاوز قيود النهج مثل المترجم المفتوح الذي يعتمد على تفاعلات مبنية على لقطات الشاشة غير الدقيقة.

5. مفتوح المصدر وقابل للإعادة: يُعتبر مشروع OS World، بما في ذلك ورقة البحث والرمز والبيانات، مفتوح المصدر، مما يسمح بالإعادة والتطوير الإضافي من قبل مجتمع البحث.

الفكرة الرئيسية وراء OS World هي أنه لتمكين وكلاء الذكاء الاصطناعي من أداء مهام الكمبيوتر الحقيقية، فهم بحاجة إلى الوصول إلى نظام التشغيل والواجهات التطبيقية الأساسية، وليس مجرد لقطات الشاشة عالية المستوى. من خلال توفير هذا التأسيس، تهدف OS World إلى تسهيل تطوير وكلاء الذكاء الاصطناعي الأكثر قدرة وشمولاً والذين يمكنهم العمل بسلاسة عبر بيئات الحوسبة المختلفة.

يُعرَّف الوكيل الذكي على أنه نظام يدرك بيئته من خلال المستشعرات ويتصرف في تلك البيئة من خلال المؤثرات، بطريقة عقلانية لتحقيق أهدافه. والمكونات الرئيسية للوكيل الذكي هي:

1. المستشعرات: وسائل الوكيل لإدراك بيئته، مثل الكاميرات والميكروفونات أو أجهزة الإدخال الأخرى.

2. المؤثرات: وسائل الوكيل للتصرف في بيئته، مثل المحركات والسماعات أو أجهزة الإخراج الأخرى.

3. الاستقلالية: قدرة الوكيل على العمل دون تحكم بشري مباشر.

4. التفاعلية: قدرة الوكيل على إدراك التغييرات في بيئته والاستجابة لها في الوقت المناسب.

5. المبادرة: قدرة الوكيل على إظهار سلوك موجه نحو الهدف من خلال المبادرة لتحقيق أهدافه.

6. القدرة الاجتماعية: قدرة الوكيل على التفاعل مع وكلاء آخرين أو بشر في بيئته.

تسمح هذه المكونات للوكيل بإدراك بيئته وتخطيط وتنفيذ الإجراءات والتعلم من خبراته لتحسين أدائه مع مرور الوقت. والهدف من الوكيل الذكي هو تعظيم أدائه في تحقيق أهدافه، مع العمل ضمن قيود بيئته.

لقد كان التحكم في الكمبيوترات وتنفيذ المهام في البيئات الرقمية تحديًا كبيرًا لوكلاء الذكاء الاصطناعي. وتسلط العرض الضوء على المشكلات الرئيسية:

1. تأسيس التعليمات في الإجراءات: لا يكفي مجرد توفير تعليمات خطوة بخطوة لتنفيذ مهمة بنجاح بواسطة وكيل الذكاء الاصطناعي. يحتاج الوكيل إلى القدرة على تأسيس تلك التعليمات في إجراءات فعلية يمكن من خلالها التحكم في واجهة الكمبيوتر، سواء كان ذلك باستخدام الماوس أو لوحة المفاتيح أو طرق إدخال أخرى.

2. الأنظمة المغلقة والمملوكة: تُعتبر أنظمة التشغيل مثل macOS و Windows مغلقة ومملوكة، مما يجعل من الصعب على وكلاء الذكاء الاصطناعي التحكم بدقة في بيئة الكمبيوتر. والنهج الحالي، مثل استخدام ميزات إمكانية الوصول وشبكات لقطات الشاشة، غير دقيق وغير فعال.

3. نقص التغذية المرتدة والتكرار: بدون القدرة على إدراك البيئة والحصول على تغذية مرتدة، يصارع وكلاء الذكاء الاصطناعي في إنشاء خطط دقيقة متعددة الخطوات لتنفيذ المهام. ويحد غياب التفاعل مع البيئة الحقيقية من قدرتهم على التعلم والتحسين.

4. تعقيد المهام الحقيقية: تنطوي العديد من مهام الكمبيوتر الحقيقية على تطبيقات متعددة وواجهات وسيناريوهات عمل. ويُعد ترجمة التعليمات عالية المستوى إلى الإجراءات اللازمة لإكمال هذه المهام المعقدة تحديًا كبيرًا للوكلاء الذكاء الاصطناعي الحاليين.

لمعالجة هذه التحديات، يهدف مشروع OS World إلى توفير بيئة كمبيوتر حقيقية قابلة للتطوير والتي يمكن أن تخدم كبيئة موحدة متعددة الوسائط لتقييم المهام الكمبيوترية المفتوحة. من خلال توفير الوصول إلى مختلف أنظمة التشغيل والتطبيقات والواجهات، بالإضافة إلى الملاحظات والتغذية المرتدة التفصيلية، تمكّن OS World وكلاء الذكاء الاصطناعي من تأسيس تعليماتهم في إجراءات دقيقة والتكرار على أدائهم.

يُعتبر مشروع OS World مشروعًا جديدًا يهدف إلى معالجة تحدي اختبار وكلاء الذكاء الاصطناعي بشكل متسق وشامل. وهو يوفر بيئة قوية ونظم تشغيل متعددة وطريقة للوكلاء للتفاعل مع البيئة وقياس أدائهم.

وتشمل الميزات الرئيسية لـ OS World ما يلي:

1. بيئة وكيل متعددة الوسائط: تخدم OS World كبيئة موحدة لتقييم المهام الكمبيوترية المفتوحة التي تنطوي على تطبيقات وواجهات تعمل عبر أنظمة التشغيل.

2. أوضاع الملاحظة: يمكن للوكلاء تلقي ملاحظات من خلال أوضاع مختلفة، بما في ذلك شجرة إمكانية الوصول ولقطة الشاشة ومجموعة من العلامات (تمثيل شبكي للشاشة).

3. مساحة الإجراء: يمكن للوكلاء أداء مجموعة متنوعة من الإجراءات، مثل تحركات الماوس والنقرات ومدخلات لوحة المفاتيح واستخدام اختصارات لوحة المفاتيح، للتفاعل مع البيئة.

4. تقييم المهام: تتضمن OS World مهام الكمبيوتر الحقيقية المعلمة بعناية، مع إعدادات الحالة الأولية وأدوات تقييم التنفيذ المخصصة لتقييم أداء الوكيل.

5. قياس الأداء: تم استخدام المشروع لقياس أداء وكلاء مختلفين، بما في ذلك Cog Agent و GPT-4 و Gemini Pro Cloud 3، مما يُظهر فعالية أوضاع ملاحظة شجرة إمكانية الوصول ولقطة الشاشة.

6. مفتوح المصدر: يُعتبر مشروع OS World، بما في ذلك الرمز والبيانات، مفتوح المصدر، مما يتيح للباحثين والمطورين الوصول إليه والبناء عليه.

من خلال توفير بيئة قياسية وقابلة للتطوير لاختبار وكلاء الذكاء الاصطناعي، يهدف OS World إلى تعزيز مجال الذكاء الاصطناعي القائم على الوكيل وتمكين تقييم الأداء الأكثر قوة وموثوقية.

يهدف مشروع OS World إلى توفير بيئة قوية وقابلة للتطوير لتقييم أداء وكلاء الذكاء الاصطناعي في تنفيذ مهام الكمبيوتر الحقيقية. والجوانب الرئيسية لهذه عملية التقييم هي:

1. تنميط المهام: يتم تنميط مهمة الوكيل كعملية صنع قرار ماركوف جزئية القابلية للملاحظة (POMDP)، مع تحديد مساحة الحالة ومساحة الملاحظة ومساحة الإجراء ووظيفة الانتقال ووظيفة المكافأة.

2. أساليب الملاحظة: يمكن للوكلاء تلقي ملاحظات من خلال أساليب مختلفة، بما في ذلك شجرة إمكانية الوصول ولقطة الشاشة ومجموعة من إطارات الحدود (العلامات). وهذه توفر مستويات مختلفة من المعلومات عن الحالة الحالية للبيئة.

3. مساحة الإجراء: يمكن للوكلاء أداء مجموعة متنوعة من الإجراءات للتفاعل مع بيئة الكمبيوتر، مثل تحركات الماوس والنقرات ومدخلات لوحة المفاتيح والتمرير واستخدام اختصارات لوحة المفاتيح.

4. تقييم تنفيذ المهام: يتم تعليم كل مهمة بعناية مع تعليمات الكمبيوتر