建立一个可以直接控制个人电脑设备来自动化任务的网络代理,比建立一个传统的函数调用代理要复杂得多。原因如下:

• 任务复杂度: 即使是一个简单的发送电子邮件的任务,网络代理也需要多个步骤 - 打开Gmail网站、点击搜索栏、输入电子邮件、点击回复按钮,最后点击发送。每个步骤都有可能出错,需要代理有更强的记忆和推理能力。

• 界面理解: 代理需要准确理解用户界面,无论是通过解析HTML/XML结构还是使用计算机视觉技术分析截图。提取相关信息并决定下一步操作是一个复杂的挑战。

• 定位精度: 精确定位要交互的UI元素,如按钮或输入字段,对代理的成功至关重要。使用OCR和结合多个模型的技术显示出了前景,但这仍然是一个重大障碍。

• 速度和效率: 这种代理的性质决定了即使是简单任务也需要多个步骤,这使其效率低于传统代理。提高速度和整体任务完成率是一个重要目标。

• 准确性和可靠性: 确保代理能够准确执行任务,而不会陷入无限循环或犯错,对于实际应用至关重要。解决这些准确性和可靠性挑战是一个关键重点领域。

尽管存在这些挑战,但一个可以处理广泛个人和工作相关任务的网络代理的潜在好处是巨大的。计算机视觉、语言模型和任务规划等领域的持续研究和开发正在推动这个领域的进步。