OS World är ett nytt projekt som syftar till att hantera utmaningen med att benchmarka och testa AI-agenter i riktiga datormiljöer. De viktigaste funktionerna i OS World inkluderar:

1. Enhetlig multimodal miljö: OS World tillhandahåller en enhetlig miljö för AI-agenter att operera över olika operativsystem, applikationer och gränssnitt, inklusive både grafiska användargränssnitt (GUI) och kommandoradsgränssnitt (CLI).

2. Observationsytor och åtgärdsytor: OS World definierar observationsytan, som inkluderar den aktuella skrivbordsmiljön, instruktioner, skärmbilder och tillgänglighetsträdstrukturer. Den definierar också åtgärdsytan, som inkluderar åtgärder som musrörelser, klick, tangentbordsintag och mer.

3. Utvärderingsmetoder: OS World inkluderar noggrant annoterade datoruppgifter i den verkliga världen, med initiala tillståndskonfigurationer och anpassade utvärderingsskript för att bedöma prestandan hos AI-agenter.

4. Tillgänglighet och förankring: OS World tillhandahåller tillgänglighetsinformation och förankring för att möjliggöra för AI-agenter att tolka och utföra instruktioner, vilket överbryggar begränsningarna i metoder som öppen tolk som förlitar sig på inexakta skärmbaserade interaktioner.

5. Öppen källkod och reproducerbarhet: OS World-projektet, inklusive forskningsartikeln, koden och data, är öppen källkod, vilket möjliggör reproducerbarhet och ytterligare utveckling av forskarsamfundet.

En intelligent agent definieras som ett system som uppfattar sin miljö genom sensorer och agerar på den miljön genom effektorer, på ett rationellt sätt för att uppnå sina mål. De viktigaste komponenterna i en intelligent agent är:

1. Sensorer: Agentens sätt att uppfatta sin miljö, som kameror, mikrofoner eller andra inenheter.

2. Effektorer: Agentens sätt att agera på sin miljö, som motorer, högtalare eller andra utenheter.

3. Autonomi: Agentens förmåga att fungera utan direkt mänsklig kontroll.

4. Reaktivitet: Agentens förmåga att uppfatta och reagera på förändringar i sin miljö på ett tidsmässigt sätt.

5. Proaktivitet: Agentens förmåga att uppvisa målstyrt beteende genom att ta initiativ för att uppnå sina mål.

6. Social förmåga: Agentens förmåga att interagera med andra agenter eller människor i sin miljö.

Dessa komponenter gör att agenten kan uppfatta sin miljö, planera och utföra åtgärder, och lära av sina erfarenheter för att förbättra sin prestation över tid. Målet för en intelligent agent är att maximera sin prestation i att uppnå sina mål, samtidigt som den verkar inom ramarna för sin miljö.

Att kontrollera datorer och utföra uppgifter i digitala miljöer har varit en betydande utmaning för AI-agenter. Presentationen belyser de viktigaste problemen:

1. Förankring av instruktioner i åtgärder: Att helt enkelt tillhandahålla stegvisa instruktioner räcker inte för att en AI-agent ska kunna utföra en uppgift framgångsrikt. Agenten måste kunna förankra dessa instruktioner i faktiska åtgärder som kan kontrollera datorns gränssnitt, oavsett om det är en mus, tangentbord eller andra inenheter.

2. Slutna och proprietära system: Operativsystem som macOS och Windows är slutna och proprietära, vilket gör det svårt för AI-agenter att exakt kontrollera datorns miljö. Befintliga metoder, som att använda tillgänglighetsfunktioner och skärmrutnät, är inexakta och ineffektiva.

3. Brist på återkoppling och iteration: Utan möjlighet att uppfatta miljön och få återkoppling kämpar AI-agenter med att generera exakta, flerstegiga planer för att utföra uppgifter. Bristen på interaktion med den verkliga miljön begränsar deras förmåga att lära och förbättra sig.

4. Komplexiteten i verkliga uppgifter: Många datoruppgifter i den verkliga världen involverar flera applikationer, gränssnitt och arbetsflöden. Att översätta högnivåinstruktioner till de nödvändiga åtgärderna för att slutföra dessa komplexa uppgifter är en betydande utmaning för nuvarande AI-agenter.

OS World är ett nytt projekt som syftar till att tillhandahålla en skalbar, riktig datormiljö som kan fungera som en enhetlig, multimodal agentmiljö för att utvärdera öppna datoruppgifter. Genom att erbjuda tillgång till olika operativsystem, applikationer och gränssnitt, tillsammans med detaljerade observationer och återkoppling, möjliggör OS World för AI-agenter att förankra sina instruktioner i exakta åtgärder och iterera över sin prestation.

OS World är ett nytt projekt som syftar till att hantera utmaningen med att konsekvent och grundligt testa AI-agenter. Det tillhandahåller en robust miljö, flera operativsystem och ett sätt för agenter att interagera med miljön och mäta sin prestation.

De viktigaste funktionerna i OS World inkluderar:

1. Multimodal agentmiljö: OS World fungerar som en enhetlig miljö för att utvärdera öppna datoruppgifter som involverar godtyckliga appar och gränssnitt över operativsystem.

2. Observationslägen: Agenter kan ta emot observationer genom olika lägen, inklusive tillgänglighetsträdstrukturen, skärmbilder och en uppsättning markeringar (en rutnätsbaserad representation av skärmen).

3. Åtgärdsyta: Agenter kan utföra ett antal åtgärder, som musrörelser, klick, tangentbordsintag och använda genvägar, för att interagera med miljön.

4. Utvärdering av uppgifter: OS World inkluderar noggrant annoterade datoruppgifter i den verkliga världen, med initiala tillståndskonfigurationer och anpassade utvärderingsskript baserade på utförande för att bedöma agentens prestation.

5. Benchmarking: Projektet har använts för att benchmarka olika agenter, inklusive Cog Agent, GPT-4 och Gemini Pro Cloud 3, vilket visar på effektiviteten hos tillgänglighetsträdstrukturen och skärmbildsbaserade observationslägen.

6. Öppen källkod: OS World-projektet, inklusive koden och data, är öppen källkod, vilket gör att forskare och utvecklare kan komma åt och bygga vidare på plattformen.

OS World-projektet syftar till att tillhandahålla en robust och skalbar miljö för att utvärdera prestandan hos AI-agenter när de utför datoruppgifter i den verkliga världen. De viktigaste aspekterna av denna utvärderingsprocess är:

1. Uppgiftsformalisering: En agentuppgift formaliseras som en delvis observerbar Markovbeslutsprocess (POMDP), med ett definierat tillståndsutrymme, observationsutrymme, åtgärdsutrymme, övergångsfunktion och belöningsfunktion.

2. Observationsmodaliteter: Agenter kan ta emot observationer genom olika modaliteter, inklusive tillgänglighetsträdstrukturen, skärmbilder och en uppsättning begränsande rutor (markeringar). Dessa ger olika nivåer av information om den aktuella tillståndet i miljön.

3. Åtgärdsyta: Agenter kan utföra ett antal åtgärder för att interagera med datorns miljö, som musrörelser, klick, tangentbordsintag, rullning och användning av genvägar.

4. Utvärdering av uppgiftsutförande: Varje uppgift är noggrant annoterad med instruktioner från den verkliga världen, en initial tillståndskonfiguration och ett anpassat utvärderingsskript som kontrollerar om uppgiften slutfördes framgångsrikt.

5. Benchmark-uppgifter: OS World-projektet inkluderar 369 datoruppgifter från den verkliga världen som involverar webb- och skrivbordsapplikationer, filåtgärder och arbetsflöden med flera appar, vilket ger en omfattande uppsättning benchmark för att utvärdera agentprestanda.

OS World-projektet är ett betydande steg framåt inom utvecklingen av robusta och skalbara benchmark för att utvärdera förmågorna hos AI-agenter i datormiljöer i den verkliga världen. Genom att tillhandahålla en standardiserad och öppen källkodsmiljö möjliggör det för forskare och utvecklare att systematiskt bedöma och förbättra prestandan hos sina agenter över ett brett utbud av uppgifter och scenarier.