웹 에이전트를 구축하여 개인 컴퓨터 장치를 직접 제어하여 작업을 자동화하는 것은 전통적인 함수 호출 에이전트를 구축하는 것보다 훨씬 더 어려운 과제입니다. 그 이유는 다음과 같습니다:

• 작업의 복잡성: 이메일 보내기와 같은 단순한 작업도 웹 에이전트에게는 여러 단계가 필요합니다 - Gmail 웹사이트 열기, 검색창 클릭, 이메일 입력, 답장 버튼 클릭, 보내기 클릭. 이러한 각 단계에는 오류가 발생할 가능성이 있어, 에이전트에게 더 강력한 메모리와 추론 능력이 필요합니다.

• 인터페이스 이해: 에이전트는 HTML/XML 구조 분석 또는 컴퓨터 비전 기술을 이용한 스크린샷 분석을 통해 사용자 인터페이스를 정확하게 이해해야 합니다. 관련 정보를 추출하고 다음 조치를 결정하는 것은 복잡한 과제입니다.

• 위치 정확성: 버튼이나 입력 필드와 같은 올바른 UI 요소와 상호 작용하기 위해 정확하게 위치를 찾는 것이 에이전트의 성공에 중요합니다. OCR 사용과 여러 모델 결합과 같은 기술이 도움이 되고 있지만, 이는 여전히 큰 장애물입니다.

• 속도 및 효율성: 이러한 유형의 에이전트는 단순한 작업에도 여러 단계를 거쳐야 하므로, 전통적인 에이전트보다 본질적으로 효율성이 낮습니다. 속도와 전반적인 작업 완료율 향상이 중요한 목표입니다.

• 정확성 및 신뢰성: 에이전트가 무한 루프에 빠지거나 실수를 하지 않고 작업을 정확하게 수행할 수 있도록 하는 것이 실제 응용 프로그램에 중요합니다. 이러한 정확성과 신뢰성 문제를 해결하는 것이 핵심 초점 영역입니다.

이러한 과제에도 불구하고, 다양한 개인 및 업무 관련 작업을 처리할 수 있는 웹 에이전트의 잠재적 이점은 상당합니다. 컴퓨터 비전, 언어 모델, 작업 계획 등의 분야에서 진행 중인 연구와 개발이 이 분야의 발전을 도와주고 있습니다.