OS World è un nuovo progetto che mira ad affrontare la sfida del benchmarking e del testing degli agenti AI in ambienti informatici reali. Le principali caratteristiche di OS World includono:

1. Ambiente Multimodale Unificato: OS World fornisce un ambiente unificato per gli agenti AI per operare attraverso diversi sistemi operativi, applicazioni e interfacce, incluse sia le interfacce grafiche utente (GUI) che le interfacce a riga di comando (CLI).

2. Spazi di Osservazione e Azione: OS World definisce lo spazio di osservazione, che include l'ambiente desktop corrente, istruzioni, screenshot e alberi di accessibilità. Definisce anche lo spazio di azione, che include azioni come movimenti del mouse, clic, input da tastiera e altro.

3. Metriche di Valutazione: OS World include compiti informatici reali accuratamente annotati, con configurazioni di stato iniziale e script di valutazione personalizzati per valutare le prestazioni degli agenti AI.

4. Accessibilità e Ancoraggio: OS World fornisce informazioni di accessibilità e ancoraggio per consentire agli agenti AI di interpretare ed eseguire istruzioni, superando i limiti di approcci come l'interprete aperto che si basano su interazioni imprecise basate su screenshot.

5. Open-Source e Riproducibile: Il progetto OS World, incluso l'articolo di ricerca, il codice e i dati, è open-source, consentendo la riproducibilità e ulteriori sviluppi da parte della comunità di ricerca.

Un agente intelligente è definito come un sistema che percepisce il suo ambiente attraverso sensori e agisce su tale ambiente attraverso effettori, in modo razionale per raggiungere i suoi obiettivi. I componenti chiave di un agente intelligente sono:

1. Sensori: I mezzi dell'agente per percepire il suo ambiente, come telecamere, microfoni o altri dispositivi di input.

2. Effettori: I mezzi dell'agente per agire sul suo ambiente, come motori, altoparlanti o altri dispositivi di output.

3. Autonomia: La capacità dell'agente di operare senza il controllo diretto dell'uomo.

4. Reattività: La capacità dell'agente di percepire e rispondere ai cambiamenti del suo ambiente in modo tempestivo.

5. Proattività: La capacità dell'agente di esibire un comportamento orientato agli obiettivi, prendendo l'iniziativa per raggiungere i suoi obiettivi.

6. Abilità Sociale: La capacità dell'agente di interagire con altri agenti o esseri umani nel suo ambiente.

Questi componenti consentono all'agente di percepire il suo ambiente, pianificare ed eseguire azioni e imparare dalle sue esperienze per migliorare le sue prestazioni nel tempo. L'obiettivo di un agente intelligente è massimizzare le sue prestazioni nel raggiungimento dei suoi obiettivi, operando entro i vincoli del suo ambiente.

Il controllo dei computer e l'esecuzione di compiti in ambienti digitali è stata una sfida significativa per gli agenti AI. La presentazione evidenzia le principali questioni:

1. Ancoraggio delle Istruzioni alle Azioni: Fornire semplicemente istruzioni passo-passo non è sufficiente perché un agente AI esegua un compito con successo. L'agente deve essere in grado di ancorare tali istruzioni ad azioni concrete che possano controllare l'interfaccia del computer, sia che si tratti di mouse, tastiera o altri metodi di input.

2. Sistemi Chiusi e Proprietari: Sistemi operativi come macOS e Windows sono chiusi e proprietari, rendendo difficile per gli agenti AI controllare con precisione l'ambiente informatico. Gli approcci esistenti, come l'uso di funzionalità di accessibilità e griglie di screenshot, sono imprecisi e inefficienti.

3. Mancanza di Feedback e Iterazione: Senza la capacità di percepire l'ambiente e ricevere feedback, gli agenti AI faticano a generare piani accurati e multi-step per eseguire i compiti. La mancanza di interazione con l'ambiente reale limita la loro capacità di apprendere e migliorare.

4. Complessità dei Compiti del Mondo Reale: Molti compiti informatici del mondo reale coinvolgono più applicazioni, interfacce e flussi di lavoro. Tradurre istruzioni di alto livello nelle azioni necessarie per completare questi compiti complessi rappresenta una sfida significativa per gli attuali agenti AI.

OS World è un nuovo progetto che mira a fornire un ambiente informatico reale e scalabile per la valutazione degli agenti AI. Offre l'accesso a vari sistemi operativi, applicazioni e interfacce, insieme a osservazioni dettagliate e feedback, consentendo agli agenti AI di ancorare le loro istruzioni in azioni precise e iterare sulle loro prestazioni.

OS World è un progetto che mira a fornire un ambiente robusto e scalabile per valutare le prestazioni degli agenti AI nell'esecuzione di compiti informatici del mondo reale. Gli aspetti chiave di questo processo di valutazione sono:

1. Formalizzazione del Compito: Un compito per l'agente è formalizzato come un Processo Decisionale di Markov Parzialmente Osservabile (POMDP), con uno spazio di stato, uno spazio di osservazione, uno spazio di azione, una funzione di transizione e una funzione di ricompensa definiti.

2. Modalità di Osservazione: Gli agenti possono ricevere osservazioni attraverso varie modalità, inclusi l'albero di accessibilità, lo screenshot e un set di coordinate di delimitazione (contrassegni). Queste forniscono diversi livelli di informazioni sullo stato corrente dell'ambiente.

3. Spazio di Azione: Gli agenti possono eseguire una serie di azioni per interagire con l'ambiente informatico, come movimenti del mouse, clic, input da tastiera, scorrimento e utilizzo di scorciatoie.

4. Valutazione dell'Esecuzione del Compito: Ogni compito è accuratamente annotato con istruzioni del mondo reale, una configurazione di stato iniziale e uno script di valutazione personalizzato che verifica se il compito è stato completato con successo.

5. Compiti di Benchmark: Il progetto OS World include 369 compiti informatici del mondo reale che coinvolgono applicazioni web e desktop, operazioni sui file e flussi di lavoro multi-app, fornendo un set completo di benchmark per valutare le prestazioni degli agenti.

Il progetto OS World rappresenta un passo importante nel campo del benchmarking degli agenti AI. Fornendo un ambiente open-source e robusto per l'interazione degli agenti con sistemi e applicazioni informatiche reali, affronta una lacuna critica nello stato attuale della valutazione dell'AI.

I principali punti salienti del progetto OS World sono:

1. Interazione Multimodale: L'ambiente supporta una varietà di modalità di input, inclusi screenshot, alberi di accessibilità e set di contrassegni, consentendo agli agenti di percepire e interagire con l'ambiente informatico in modo più naturale e completo.

2. Compiti del Mondo Reale: Il progetto include un set diversificato di 369 compiti informatici del mondo reale, attentamente selezionati da istruzioni degli utenti, che coinvolgono flussi di lavoro multi-step attraverso varie applicazioni e sistemi operativi.

3. Valutazione Rigorosa: I compiti sono accompagnati da dettagliate configurazioni di stato iniziale e script di valutazione personalizzati, consentendo una valutazione standardizzata e oggettiva delle prestazioni degli agenti.

4. Disponibilità Open-Source: L'intero progetto, inclusi il codice, i dati e l'articolo di ricerca, è disponibile in modo aperto, promuovendo la collaborazione e ulteriori progressi nel campo.