建立一個可以直接控制個人電腦設備來自動化任務的網路代理人,比建立傳統的函數呼叫代理人要複雜得多。原因如下:

• 任務複雜度: 即使是像發送電子郵件這樣簡單的任務,網路代理人也需要多個步驟 - 打開Gmail網站、點擊搜索欄、輸入電子郵件、點擊回覆按鈕,最後點擊發送。每個步驟都有可能出錯,需要代理人有更強的記憶力和推理能力。

• 界面理解: 代理人需要準確理解使用者界面,無論是解析HTML/XML結構還是使用電腦視覺技術分析截圖。提取相關信息並決定下一步行動是一個複雜的挑戰。

• 定位精度: 精確定位要與之互動的正確UI元素,如按鈕或輸入欄,對代理人的成功至關重要。使用OCR和結合多個模型的技術已經顯示出一些前景,但這仍然是一個重大障礙。

• 速度和效率: 這種代理人的性質,即使對於簡單的任務也需要經歷多個步驟,使其本質上效率低於傳統代理人。提高速度和整體任務完成率是一個重要目標。

• 準確性和可靠性: 確保代理人能夠準確地執行任務,而不會陷入無限循環或犯錯誤,對於實際應用至關重要。解決這些準確性和可靠性挑戰是一個關鍵重點領域。

儘管存在這些挑戰,但一個可以處理各種個人和工作相關任務的網路代理人的潛在好處是巨大的。在電腦視覺、語言模型和任務規劃等領域的持續研究和開發正在推動這個領域的進步。