Создание веб-агента, который может напрямую управлять устройством личного компьютера для автоматизации задач, значительно сложнее, чем создание традиционного агента, вызывающего функции. Вот почему:

• Сложность задач: Даже простая задача, такая как отправка электронного письма, требует от веб-агента множества шагов - открытие веб-сайта Gmail, нажатие на поле поиска, набор текста письма, нажатие кнопки ответа и, наконец, нажатие кнопки отправки. Каждый из этих шагов имеет потенциал для ошибок, требуя от агента более сильной памяти и способности к рассуждению.

• Понимание интерфейса: Агент должен точно понимать пользовательский интерфейс, будь то путем анализа структуры HTML/XML или анализа скриншотов с помощью методов компьютерного зрения. Извлечение соответствующей информации и принятие решения о следующем действии является сложной задачей.

• Точность позиционирования: Точное определение правильных элементов пользовательского интерфейса для взаимодействия, таких как кнопки или поля ввода, имеет решающее значение для успеха агента. Методы, такие как использование оптического распознавания символов (OCR) и комбинирование нескольких моделей, показали перспективные результаты, но это по-прежнему остается значительным препятствием.

• Скорость и эффективность: Природа этого типа агента, проходящего через множество шагов даже для простых задач, изначально делает его менее эффективным, чем традиционные агенты. Повышение скорости и общего показателя завершения задач является важной целью.

• Точность и надежность: Обеспечение того, чтобы агент мог точно выполнять задачи, не застревая в бесконечных циклах или не допуская ошибок, имеет решающее значение для реальных приложений. Решение этих проблем с точностью и надежностью является ключевой областью внимания.

Несмотря на эти проблемы, потенциальные преимущества веб-агента, который может справляться с широким спектром личных и рабочих задач, значительны. Продолжающиеся исследования и разработки в областях, таких как компьютерное зрение, языковые модели и планирование задач, помогают продвигать состояние этой области.

Существует три основных подхода, которые веб-агенты используют для понимания и взаимодействия с пользовательскими интерфейсами:

1. Подход на основе HTML/XML:

   • Агент извлекает структуру HTML или XML веб-сайта и использует эту информацию для понимания макета и интерактивных элементов.
   • Агент может затем использовать это знание, чтобы находить и взаимодействовать с конкретными элементами пользовательского интерфейса, такими как поля ввода, кнопки и ссылки.
   • Этот подход относительно зрелый, но он имеет ограничения при работе со сложными или плохо структурированными веб-сайтами.

2. Подход на основе зрения:

   • Агент использует модели компьютерного зрения для анализа скриншотов или изображений пользовательского интерфейса.
   • Это позволяет агенту идентифицировать и находить элементы пользовательского интерфейса даже при отсутствии чистых данных HTML/XML.
   • Используются такие методы, как картирование значимости и оптическое распознавание символов (OCR), чтобы определить точные координаты интерактивных элементов.
   • Сочетание моделей зрения с языковыми моделями (например, GPT-4) может повысить точность этого подхода.

3. Гибридный подход:

   • Это сочетание преимуществ подходов на основе HTML/XML и на основе зрения.
   • Агент использует как структурированные данные с веб-сайта, так и визуальную информацию со скриншотов, чтобы понять интерфейс.
   • Этот подход может справляться с более широким спектром структур веб-сайтов и обеспечивать более точное взаимодействие с элементами пользовательского интерфейса.

Основные проблемы при создании эффективных веб-агентов включают:

1. Скорость: Многошаговый характер веб-взаимодействий может сделать веб-агентов медленнее, чем традиционные агенты, вызывающие функции.
2. Точность: Точное определение и взаимодействие с элементами пользовательского интерфейса является сложной задачей, требующей передовых возможностей компьютерного зрения и понимания языка.
3. Завершение задач: Поддержание контекста и избежание бесконечных циклов важны для обеспечения того, чтобы веб-агенты могли успешно выполнять сложные задачи.

Во-первых, я быстро понял, что этот тип веб-, мобильного или настольного агента, который может напрямую управлять устройством личного компьютера, в несколько раз сложнее, чем обычные агенты, вызывающие функции, которые мы строим. Допустим, мы строим простого агента-менеджера входящих сообщений, который может выполнять действия, такие как отправка электронного письма. С обычным агентом, вызывающим функции, все, что нужно сделать, - это вызвать заранее определенную функцию под названием "отправить электронное письмо" и передать содержимое письма, и задача будет выполнена. Здесь практически нет места для ошибок.

Однако, если мы попытаемся заставить веб-агента выполнить простую задачу отправки электронного письма, ему придется пройти как минимум четыре разных шага. Ему сначала нужно будет открыть Gmail.com в веб-браузере, нажать на поле поиска, найти конкретное письмо, на которое нужно ответить, нажать на правильное письмо в результатах поиска, нажать на кнопку ответа, набрать ответ и нажать Отправить. Таким образом, для выполнения даже простой задачи требуется гораздо больше шагов. В этом процессе есть гораздо больше возможностей для ошибок, поскольку агент может ошибиться на любом из этих шагов. Агенту также требуется более сильная память и способность к рассуждению, чтобы помнить, что он делал раньше, чтобы избежать повторения тех же ошибок.

Таким образом, это гораздо более сложная задача для построения, но если этой способности удастся достичь, это будет очень захватывающе и откроет возможности для множества огромных рынков.

Как же на самом деле работает эта система? Существует три основных способа, которыми мы можем к ней подойти:

1. Подход на основе HTML или XML: Мы попытаемся извлечь HTML-файл каждого веб-сайта и предоставить эти элементы DOM HTML агенту в качестве контекста, чтобы агент мог понять структуру веб-сайта и затем решить, что делать дальше. Это самый зрелый метод, но он имеет ограничения, такие как неспособность справляться с задачами, связанными с изображениями.

2. Подход на основе зрения: Вместо того, чтобы давать агенту исходный HTML-код, мы можем сделать скриншот и отправить его в мультимодальную модель, где она сможет понять, рассуждать и планировать следующий шаг. Самая сложная часть этого подхода - точно определить, с каким конкретным элементом пользовательского интерфейса нужно взаимодействовать.

3. Гибридный подход: Некоторые команды объединили преимущества подходов на основе HTML/XML и на основе зрения, используя комбинацию языковых моделей и оптического распознавания символов (OCR) для повышения точности.

Разработка веб-агентов, которые могут напрямую управлять устройствами личных компьютеров для автоматизации задач, является сложной проблемой, с несколькими ключевыми проблемами, которые необходимо преодолеть:

1. Скорость: Природа этого типа агента требует прохождения множества шагов для выполнения даже простых задач, что делает их изначально менее эффективными по сравнению с традиционными агентами, вызывающими функции.

2. Точность: Точное определение и взаимодействие с конкретными элементами пользовательского интерфейса на веб-сайтах и приложениях является значительной проблемой. Подходы, такие как использование структуры HTML/XML, мультимодальных моделей и комбинаций методов, таких как OCR и CLIP, показали прогресс, но все еще есть место для улучшения.

3. Завершение задач: Веб-агенты часто могут застревать в бесконечных циклах, забывая о предпринятых ранее шагах и повторяя одни и те же проблемы. Решение этой проблемы поддержания контекста и завершения задач имеет решающее значение для повышения принятия этих агентов.

Для решения этих проблем были исследованы несколько методик и инструментов:

• Подход на основе HTML/XML: Извлечение и очистка структуры HTML показали перспективные результаты, но ограничены в обработке задач, связанных с изображениями и плохо разработанными веб-сайтами.

• Мультимодальный подход: Использование методов компьютерного зрения, таких как анализ скриншотов, OCR и CLIP, для понимания пользовательского интерфейса и определения интерактивных элементов повысило точность, но по-прежнему сталкивается с проблемами при работе со сложными или плотными интерфейсами.

• Специализированные модели: Проекты, такие как Cook Agent, визуальная языковая модель, специально разработанная для понимания и взаимодействия со скриншотами графического интерфейса, продемонстрировали лучшую производительность в завершении веб- и мобильных задач.

Одной из ключевых проблем в веб-скрейпинге была необходимость поддерживать пользовательские скрейперы для каждого веб-сайта, поскольку их структура и макет часто меняются со временем. Однако появление веб-агентов, которые могут напрямую управлять пользовательским интерфейсом веб-браузера, открывает новые возможности для создания более универсальных и надежных веб-скрейперов.

Эти веб-агенты используют передовые модели ИИ, такие как крупные языковые модели и методы компьютерного зрения, для понимания и взаимодействия с веб-интерфейсами более человекоподобным образом. Имитируя реальные пользовательские взаимодействия, такие как щелчки, прокрутка и набор текста, эти агенты могут перемещаться и извлекать данные с широкого спектра веб-сайтов без необходимости в пользовательском коде.

Одним из таких открытых проектов является WebQL, который предоставляет мощный инструмент для создания этих веб-агентов. WebQL позволяет определять запросы, которые указывают, с какими элементами пользовательского интерфейса вы хотите взаимодействовать, такими как поля ввода, кнопки и списки продуктов. Библиотека затем использует компьютерное зрение и другие методы для точного определения и взаимодействия с этими элементами, даже на сложных и динамических веб-сайтах.

Используя WebQL, вы можете быстро создавать универсальные веб-скрейперы, которые можно применять к различным сайтам электронной коммерции, например, для извлечения информации о продуктах, такой как название, отзывы, цена и информация о доставке. Один и тот же скрипт можно использовать на нескольких сайтах, значительно снижая накладные расходы на обслуживание по сравнению с традиционными подходами к веб-скрейпингу.

Для создания универсального скрейпера электронной коммерции с использованием WebQL мы будем следовать этим шагам:

1. Установите необходимые библиотеки:

   • pip install webql
   • pip install playwright

2. Установите ключ API WebQL в файле .env.

3. Создайте Python-скрипт под названием ecommerce_scraper.py со следующим кодом:

import os
from dotenv import load_dotenv
f