El SWE-Agent, un nuevo proyecto de código abierto, ha logrado un rendimiento muy cercano al de DEVIN, el software de ingeniero de IA desarrollado por Cognition Lab, en el Benchmark SWE. El Benchmark SWE se basa en resolver problemas de GitHub, y se informó anteriormente que DEVIN había logrado una precisión de vanguardia del 13.86% en este benchmark.

Sin embargo, el SWE-Agent puede igualar este rendimiento e incluso superarlo. Cabe destacar que el SWE-Agent logra esta tarea en solo aproximadamente 93 segundos, lo que es significativamente más rápido que los 5 minutos que toma DEVIN.

Cabe señalar que el equipo de Cognition Lab había probado DEVIN solo en el 25% del conjunto de datos del Benchmark SWE, mientras que el rendimiento del SWE-Agent se informa sobre el conjunto de datos completo. Esto sugiere que si DEVIN se probara en el conjunto de datos completo, su rendimiento podría degradarse y potencialmente acercarse al nivel logrado por el SWE-Agent.

El SWE-Agent es un nuevo proyecto de código abierto que tiene como objetivo replicar la funcionalidad del sistema propietario Deon desarrollado por Cognition Lab. El agente tiene una arquitectura única que le permite realizar tareas de ingeniería de software, particularmente en los repositorios de GitHub, con una eficiencia impresionante.

Los aspectos clave del diseño y las capacidades del SWE-Agent son:

1. Interfaz Agente-Computadora: El SWE-Agent interactúa con la computadora a través de una capa de "interfaz agente-computadora" especializada. Esta interfaz proporciona un conjunto de comandos y formatos de retroalimentación amigables para el modelo de lenguaje, lo que facilita que el modelo de lenguaje explore los repositorios, vea, edite y ejecute archivos.

2. Análisis de Archivos Incremental: En lugar de analizar el archivo completo de una vez, el SWE-Agent divide el archivo en fragmentos de 100 líneas y busca las secciones de código relevantes. Este enfoque permite que el agente mantenga un mejor contexto y realice un mejor rendimiento en comparación con un análisis de archivo completo.

3. Capacidades Centradas en GitHub: Actualmente, el SWE-Agent está diseñado específicamente para trabajar con repositorios de GitHub, lo que le permite resolver problemas y crear solicitudes de extracción. Sin embargo, los desarrolladores han indicado que el alcance puede ampliarse para incluir otras tareas de ingeniería de software en el futuro.

4. Comparación de Rendimiento: El SWE-Agent ha demostrado un rendimiento muy cercano al sistema propietario Deon en el Benchmark SWE, que se basa en resolver problemas de GitHub. Cabe destacar que el SWE-Agent puede completar las tareas del benchmark en aproximadamente 93 segundos, significativamente más rápido que el rendimiento de 5 minutos de Deon.

5. Código Abierto y Accesibilidad: El proyecto SWE-Agent es completamente de código abierto, y los desarrolladores planean publicar el documento que detalla la arquitectura y las capacidades del sistema en breve. Esta transparencia y accesibilidad permiten que la comunidad de código abierto mejore y expanda aún más la funcionalidad del agente.

El SWE-Agent, un nuevo proyecto de código abierto, ha demostrado un rendimiento impresionante en el Benchmark SWE, que se basa en resolver problemas de GitHub. El SWE-Agent puede lograr un rendimiento muy cercano al del sistema propietario Devon, que anteriormente se consideraba el estado del arte.

Cabe destacar que el SWE-Agent puede completar el benchmark en solo 93 segundos, lo que es significativamente más rápido que los 5 minutos requeridos por Devon. Esto sugiere que el SWE-Agent tiene un enfoque altamente eficiente y optimizado para resolver tareas de ingeniería de software.

Además, el rendimiento del SWE-Agent se logra en el conjunto de datos completo del Benchmark SWE, a diferencia de Devon, que se probó solo en el 25% del conjunto de datos. Esto indica que las capacidades del SWE-Agent son más sólidas y generalizables.

El éxito del SWE-Agent se atribuye a su arquitectura única, que incluye una "Interfaz Agente-Computadora" que proporciona una capa de abstracción entre el modelo de lenguaje y el terminal de la computadora. Esto permite que el agente interactúe con la base de código de una manera más natural y eficiente.

Si bien el SWE-Agent ha mostrado un rendimiento impresionante en el Benchmark SWE, actualmente se limita a trabajar con repositorios de GitHub. Las capacidades del agente se limitan a tareas específicas de ingeniería de software y no se puede utilizar para otros tipos de tareas. Además, el agente requiere el uso de modelos de lenguaje poderosos como Opus o GPT-4 para funcionar de manera efectiva. Los modelos de lenguaje de código abierto actualmente disponibles no son lo suficientemente capaces como para ejecutar agentes como el SWE-Agent.

Sin embargo, el progreso realizado por el SWE-Agent y proyectos similares es alentador. A medida que la comunidad de código abierto continúe desarrollando modelos de lenguaje más avanzados, es probable que las capacidades de estos agentes de ingeniería de software se expandan. La publicación del documento del SWE-Agent es muy esperada, ya que puede proporcionar información valiosa sobre el desarrollo y el potencial de este tipo de sistemas.

El surgimiento de proyectos de código abierto como SWA Agent, que pueden igualar de cerca el rendimiento del sistema propietario Devon, es un desarrollo significativo en el campo de la ingeniería de software impulsada por IA. La capacidad del SWA Agent para resolver problemas de GitHub de forma autónoma en cuestión de segundos, en comparación con los 5 minutos que toma Devon, es un logro impresionante.

Si bien el SWA Agent se limita actualmente a los problemas de GitHub, es probable que la comunidad de código abierto continúe expandiendo sus capacidades. La publicación del documento del proyecto proporcionará información valiosa sobre las técnicas y enfoques subyacentes utilizados.

Una conclusión clave es que la principal ventaja de los sistemas propietarios como Devon radica en su acceso a datos y recursos de cómputo propietarios, más que en una superioridad tecnológica inherente. La capacidad de la comunidad de código abierto para replicar un rendimiento similar resalta el potencial de mayores avances en este campo.

Sin embargo, las limitaciones actuales de los modelos de lenguaje de código abierto para ejecutar estos agentes avanzados siguen siendo un desafío. La necesidad de modelos más potentes, como Opus o GPT-4, es evidente. A medida que avance el campo, será emocionante ver cómo la comunidad de código abierto continúa empujando los límites de la ingeniería de software impulsada por IA.