Una forma de ver los casos de uso potenciales y las oportunidades de mercado para los agentes web de IA es examinar los intentos anteriores de construir sistemas similares, sus limitaciones y cómo las nuevas tecnologías o los cambios pueden potencialmente cambiar la dinámica.

Una categoría de mercado directa es la Automatización de Procesos Robóticos (RPA), que es una categoría de software que ayuda a las empresas a construir bots automatizados para manejar tareas repetitivas y estandarizadas como el procesamiento de facturas o la entrada de datos. Sin embargo, las limitaciones de las soluciones de RPA son bastante claras: tienen dificultades con procesos no estandarizados o en constante cambio, y requieren altos costos de configuración para cada automatización específica.

En contraste, los agentes web de IA que pueden controlar directamente la computadora y el navegador son emocionantes porque pueden manejar teóricamente situaciones mucho más complejas con mucho menos costo de configuración. En lugar de construir automatizaciones específicas, el agente puede simplemente navegar por los sitios web, extraer datos y completar tareas independientemente de los cambios de formato, ya que el agente puede tomar las decisiones necesarias.

Más allá de la simple automatización, estos agentes de IA también pueden ir más allá de la RPA tradicional para completar tareas más inteligentes como el soporte al cliente, las ventas y el marketing. Al acceder a más sistemas y aprovechar sus capacidades de toma de decisiones, estos "trabajadores" de IA se pueden implementar para una gama más amplia de casos de uso, incluyendo aplicaciones de consumo con menor volumen.

Sin embargo, un desafío clave para ofrecer soluciones útiles de trabajadores de IA no es solo el conocimiento técnico, sino también el conocimiento del flujo de trabajo de extremo a extremo para funciones laborales específicas. Un informe de investigación reciente de Hotspot que encuestó a más de 1.400 líderes de ventas globales proporciona valiosos conocimientos sobre el flujo de trabajo de ventas moderno y los casos de uso de IA, lo que puede ser muy útil para construir agentes de IA para funciones de ventas.

En resumen, las principales oportunidades para los agentes web de IA incluyen:

• Manejar tareas más complejas y no estandarizadas en comparación con la RPA tradicional
• Reducir los costos de configuración de las automatizaciones
• Expandirse más allá de la simple automatización a tareas más inteligentes como el soporte al cliente y las ventas
• Aprovechar el profundo conocimiento del flujo de trabajo para funciones laborales específicas para construir agentes de IA más efectivos

Enfoque 1: Raspador web impulsado por GPT-4V

1. Usa una biblioteca de Node.js como Puppeteer para tomar capturas de pantalla de páginas web y controlar el navegador web.
2. Crea un script de Python que llame al archivo JavaScript para tomar capturas de pantalla y luego use GPT-4V para extraer datos de las capturas de pantalla.
3. El script de Python define funciones para convertir la imagen a base64, tomar capturas de pantalla y usar GPT-4V para extraer información de las capturas de pantalla.
4. El script conecta estas funciones para crear un poderoso raspador web que puede acceder a sitios web que normalmente bloquean los servicios de raspado.

Enfoque 2: Construir un agente web de IA

1. Crea un archivo Node.js que importe varias bibliotecas y configure una instancia de OpenAI y una interfaz de línea de comandos.
2. Implementa una función highlightLinks que identifique todos los elementos interactivos de una página web y les agregue un atributo especial.
3. Define una función principal que cree un navegador Puppeteer, configure un mensaje del sistema para GPT-4V y entre en un bucle donde:
   • Obtiene una respuesta de GPT-4V basada en el mensaje del usuario y el estado actual de la página web.
   • Si la respuesta indica que se debe hacer clic en un enlace, encuentra el elemento correspondiente y hace clic en él.
   • Si la respuesta indica que se debe visitar una nueva URL, navega a esa URL y resalta los enlaces.
   • Si la respuesta es un mensaje regular, muestra el resultado al usuario.
4. Este agente web de IA puede navegar por múltiples sitios web, hacer clic en enlaces y completar tareas de investigación complejas aprovechando las capacidades de GPT-4V.

Para construir un raspador web impulsado por GPT-4V, usaremos una biblioteca de Node.js llamada Puppeteer para controlar el navegador web y tomar capturas de pantalla. Aquí hay una guía paso a paso:

1. Crea un nuevo archivo llamado screenshot.js e importa las bibliotecas necesarias:

const puppeteer = require('puppeteer');
const puppeteerExtra = require('puppeteer-extra');

2. Define la URL que deseas raspar y un valor de tiempo de espera:

const url = 'https://en.wikipedia.org/wiki/Main_Page';
const timeout = 60000; // 60 segundos

3. Crea una función asincrónica para iniciar el navegador, navegar a la URL y tomar una captura de pantalla:

async function takeScreenshot() {
  const browser = await puppeteerExtra.launch();
  const page = await browser.newPage();
  await page.setViewport({ width: 1920, height: 1080 });
  await page.goto(url, { waitUntil: 'networkidle0' });
  await page.screenshot({ path: 'screenshot.jpg', fullPage: true });
  await browser.close();
}

4. En este ejemplo, estamos usando el complemento puppeteer-extra para hacer que el navegador sea menos detectable por los sitios web.

5. Ejecuta la función takeScreenshot() para capturar la captura de pantalla:

takeScreenshot();

Ahora, puedes ejecutar el script con node screenshot.js, y guardará una captura de pantalla de la página de inicio de Wikipedia en el archivo screenshot.jpg.

A continuación, crearemos un script de Python que use la captura de pantalla y GPT-4V para extraer datos del sitio web:

1. Crea un nuevo archivo llamado vision_scraper.py e importa las bibliotecas necesarias:

import os
import subprocess
import base64
import openai
from dotenv import load_dotenv

load_dotenv()
openai.api_key = os.getenv("OPENAI_API_KEY")

2. Define funciones para convertir la imagen a base64 y tomar una captura de pantalla usando el script screenshot.js:

def image_to_b64(image_path):
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode("utf-8")

def url_to_screenshot(url):
    if os.path.exists("screenshot.jpg"):
        os.remove("screenshot.jpg")
    try:
        subprocess.run(["node", "screenshot.js"], check=True)
        return "screenshot.jpg"
    except subprocess.CalledProcessError:
        return None

3. Crea una función para usar GPT-4V para extraer información de la captura de pantalla:

def vision_extract(image_b64, prompt):
    response = openai.ChatCompletion.create(
        model="gpt-4",
        messages=[
            {"role": "system", "content": "You are a web scraper. Your job is to extract information based on a screenshot of a website and user instructions."},
            {"role": "user", "content": prompt},
            {"role": "user", "content": image_b64}
        ],
        max_tokens=2048,
        n=1,
        stop=None,
        temperature=0.7,
    )
    return response.choices[0].message.content.strip()

4. Conecta todo en una función vision_query():

def vision_query(url, prompt):
    screenshot_path = url_to_screenshot(url)
    if screenshot_path:
        image_b64 = image_to_b64(screenshot_path)
        return vision_extract(image_b64, prompt)
    else:
        return "Error: Unable to capture screenshot."

5. Ahora puedes usar la función vision_query() para extraer información de un sitio web:

result = vision_query("https://www.linkedin.com/in/your-profile-url", "Extract the work experience section from the profile.")
print(result)

Este ejemplo tomará una captura de pantalla del perfil de LinkedIn especificado y usará GPT-4V para extraer la sección de experiencia laboral. Puedes personalizar el mensaje para extraer diferentes tipos de información del sitio web.