AutoCoder es un nuevo modelo de lenguaje grande que recientemente ha causado sensación en la comunidad de IA. Este modelo ha superado el rendimiento de GPT-4 Turbo (la versión de abril de 2024) y el más nuevo GPT-4 Omni en el prestigioso punto de referencia Human Eval, lo cual es un logro impresionante.

Lo que distingue a AutoCoder es su versátil intérprete de código. A diferencia de GPT-4 Turbo y Omni, que se limitan a paquetes integrados, AutoCoder puede instalar automáticamente paquetes externos según sea necesario, ampliando significativamente el alcance de las tareas que puede manejar. Esta característica permite que AutoCoder aborde una gama más amplia de desafíos de codificación.

Otra diferencia clave es la forma en que se invoca el intérprete de código. Con AutoCoder, el intérprete se usa de manera selectiva, solo cuando el usuario necesita verificar el código. En contraste, el intérprete de código abierto en GPT-4 Turbo ejecuta todo el código de Python generado de forma predeterminada, sin esperar la entrada del usuario o la verificación del código.

La arquitectura AI EV Instruct se divide en dos etapas principales: la etapa de enseñanza y la etapa de aprendizaje autónomo.

En la etapa de enseñanza, el modelo aprende principalmente destilando conocimiento de un modelo maestro, como GPT-4 Turbo o DeBERTa. Esta etapa involucra cuatro pasos clave:

1. Inicialización: El modelo inicializa roles, mensajes de diálogo y el intérprete de código.
2. Resolución de problemas: El modelo describe problemas y proporciona soluciones, con los mensajes de diálogo adjuntos a la descripción del problema.
3. Retroalimentación de ejecución: El modelo maneja errores, proporciona descripciones en lenguaje natural y modifica el modelo de código.
4. Terminación: Si el programa se ejecuta con éxito, los mensajes de diálogo se adjuntan para completar el análisis de una entrada de datos, y el proceso pasa a la etapa de evaluación de datos.

La etapa de aprendizaje autónomo es donde el modelo estudiante reemplaza al modelo original y asume los roles tanto del cuestionador como del programador. El modelo estudiante completa todo el proceso de retroalimentación de ejecución de forma autónoma, lo que le permite seguir aprendiendo y mejorando su rendimiento sin depender del modelo maestro.

AutoCoder, un nuevo modelo de lenguaje grande centrado en la mejora del código, tiene un conjunto de datos significativamente más sólido en comparación con otros modelos de vanguardia centrados en la codificación. Aquí hay un desglose de las diferencias clave:

• Conjunto de datos de AutoCoder: 169k muestras de datos, 241 rondas de diálogo, incluida la función principal, las instalaciones de paquetes, los errores de ejecución de código y las correcciones. También incorpora pruebas unitarias para una mejor precisión.

• Magic Coder OSS Instruct: 75k muestras de datos, 75 rondas de diálogo.

• Magic Coder EAL Instruct: Solo 1,111 muestras de datos, 111 rondas de diálogo.

El conjunto de datos significativamente más grande y las rondas de diálogo más completas en los datos de entrenamiento de AutoCoder le brindan una clara ventaja sobre otros modelos. La inclusión de pruebas unitarias también mejora aún más la precisión y confiabilidad del código generado por AutoCoder.

AutoCoder, un nuevo modelo de lenguaje grande centrado en la generación e interpretación de código, ha superado recientemente el rendimiento de GPT-4 Turbo (versión de abril de 2024) y GPT-4 Omni en el punto de referencia Human Eval. Este es un logro notable, ya que estos modelos se consideraban anteriormente el estado del arte en el campo de las tareas relacionadas con el código.

Una de las principales ventajas de AutoCoder es su capacidad para acceder y utilizar bibliotecas externas, a diferencia del modelo más restringido de GPT-4 Turbo. Esta funcionalidad ampliada permite que AutoCoder maneje una gama más amplia de tareas y aplicaciones. Además, el modelo AutoCoder está diseñado para invocar selectivamente el intérprete de código según los requisitos del usuario, en lugar de ejecutar todo el código generado de forma predeterminada como el intérprete de código abierto.

En términos de los datos de entrenamiento, AutoCoder se jacta de un conjunto de datos significativamente más grande en comparación con otros modelos centrados en tareas de codificación. El conjunto de datos de AutoCoder contiene 169,000 muestras de datos con 241 rondas de diálogo, incluida la función principal, las instalaciones de paquetes, los errores de ejecución de código y las correcciones. Este conjunto de datos integral permite que el modelo aprenda y mejore sus capacidades de generación e interpretación de código de manera más efectiva.

La introducción de AutoCoder, un nuevo modelo de lenguaje grande que supera a GPT-4 Turbo y GPT-4 Omni en el punto de referencia Human Eval, es un desarrollo significativo en el campo de la interpretación y generación de código. Este modelo de código abierto, basado en la arquitectura DeepSE coder, ofrece un intérprete de código más versátil y capaz en comparación con sus predecesores.

Una de las características clave de AutoCoder es su capacidad para instalar automáticamente paquetes externos, ampliando el alcance de sus capacidades de interpretación de código. Esta es una mejora significativa con respecto a las limitaciones de GPT-4 Turbo, que se restringe solo a paquetes integrados. El uso selectivo del intérprete de código, dependiendo de los requisitos del usuario, es otro aspecto notable de AutoCoder.

Los datos de entrenamiento del modelo, que incluyen un conjunto de datos de diálogo de varios turnos y un sistema de combinación de interacciones de agentes con verificación de ejecución de código externo, han contribuido a su impresionante rendimiento. La comparación del conjunto de datos de AutoCoder con otros modelos de vanguardia, como LLaMA 3 400B y GPT-4 Omni Ultra, resalta aún más sus ventajas.