El informe del Índice de IA 2024 destaca que la industria continúa liderando la investigación de IA de vanguardia. En 2023, la industria produjo 51 modelos de aprendizaje automático notables, mientras que la academia contribuyó solo con 15. Además, hubo 21 modelos notables resultantes de colaboraciones entre la industria y la academia, alcanzando un nuevo récord.

Esta tendencia de la industria a dominar la investigación de IA de vanguardia continúa aumentando. El informe plantea la pregunta de si el gobierno debería involucrarse más en los proyectos de IA, ya que el papel predominante del sector privado puede crear un desequilibrio de poder preocupante en el futuro.

Además, el informe señala que el número de modelos base lanzados en 2023 se duplicó en comparación con 2022, siendo el 65% de estos nuevos modelos de código abierto, frente al 44% en 2022 y el 33% en 2021. Esto sugiere una tendencia creciente hacia la IA de código abierto, incluso cuando los modelos limitados de última generación como GPT-4 y sus sucesores siguen siendo de código cerrado.

El informe también proporciona estimaciones de los costos de entrenamiento de estos modelos, con GPT-4 estimado en $78 millones y Gemini Ultra en $191 millones, lo que resalta las importantes inversiones requeridas para desarrollar estos sistemas de IA avanzados.

En general, el informe dibuja un panorama del liderazgo continuo de la industria en la investigación de IA de vanguardia, con los modelos de código abierto ganando terreno y la posible necesidad de una mayor participación gubernamental para abordar las preocupaciones sobre los desequilibrios de poder en el panorama de la IA.

El informe del Índice de IA 2024 destaca el creciente protagonismo de los modelos de IA de código abierto. Algunos puntos clave:

• En 2023, el 65% de los 149 modelos base recién lanzados fueron de código abierto, frente al 44% en 2022 y el 33% en 2021. Esto muestra una clara tendencia hacia un desarrollo de IA más abierto.

• El número de proyectos relacionados con la IA en GitHub ha experimentado un fuerte aumento del 59.3% en 2023, más que triplicándose de 4 millones en 2022 a 12.2 millones en 2023. Esta explosión de actividad de código abierto fue impulsada por el lanzamiento de ChatGPT a finales de 2022.

• Si bien los modelos de código cerrado como GPT-4 y Gemini Ultra siguen dominando en ciertos puntos de referencia, el informe señala que los sistemas de código abierto están alcanzando cada vez más y dominando el panorama de la IA.

• Este auge de la IA de código abierto se ve como una tendencia positiva, ya que promueve la transparencia y la accesibilidad. Sin embargo, persisten las preocupaciones sobre los posibles riesgos de que modelos de código abierto poderosos caigan en manos equivocadas.

• Los reguladores tendrán que lidiar con el equilibrio entre los beneficios de la innovación abierta y la necesidad de mitigar el mal uso y garantizar un desarrollo responsable de estas tecnologías transformadoras.

En resumen, el Índice de IA 2024 destaca el notable crecimiento de la IA de código abierto, que está remodelando el panorama y desafiando el dominio de los modelos de código cerrado. Esta tendencia probablemente seguirá siendo un área de enfoque clave para la comunidad de IA en los próximos años.

Este capítulo examina el rendimiento de los sistemas de IA en una variedad de puntos de referencia en comparación con las capacidades humanas. Los datos muestran una tendencia cada vez más impresionante, con la IA superando el rendimiento humano en varias tareas:

• La IA ha superado el rendimiento humano en puntos de referencia que incluyen clasificación de imágenes, razonamiento visual y comprensión del inglés.
• Sin embargo, la IA aún se queda atrás de los humanos en tareas más complejas como matemáticas a nivel competitivo, razonamiento de sentido común visual y planificación.

La tendencia en estos puntos de referencia indica que a medida que avanzamos hacia 2023 y más allá, la IA está cerrando rápidamente la brecha e incluso superando la línea de base humana en muchas áreas. Algunos puntos clave:

• La línea de base humana se está superando en dominios como la clasificación de imágenes y la comprensión del lenguaje natural.
• Si bien la IA se queda atrás en áreas como las matemáticas y la comprensión lectora, la brecha de rendimiento se está reduciendo rápidamente.
• Puntos de referencia como la prueba de Comprensión del Lenguaje Multimodal (MMLU) muestran que las capacidades de la IA se acercan rápidamente al nivel humano.

Estos datos sugieren que para finales de 2024, los sistemas de IA pueden alcanzar una paridad cercana con los humanos en una amplia gama de tareas cognitivas. El continuo avance de los modelos de lenguaje a gran escala como GPT-4 probablemente impulsará más avances en el rendimiento de la IA. A medida que estas capacidades crezcan, será crucial monitorear tanto el progreso como las limitaciones de los sistemas de IA en comparación con las habilidades humanas.

Tradicionalmente, los sistemas de IA han tenido un alcance limitado, con los modelos de lenguaje destacando en la comprensión de texto pero fallando en el procesamiento de imágenes, y viceversa. Sin embargo, los avances recientes han dado lugar al desarrollo de modelos multimodales sólidos como Gemini de Google y GPT-4 de OpenAI.

Estos modelos demuestran una notable flexibilidad y son capaces de manejar tanto imágenes como texto. De hecho, Gemini 1.5 Pro incluso puede procesar audio. La línea de base para la capacidad de IA multimodal ha seguido aumentando, alcanzando el 94.04% en 2023, en comparación con la línea de base humana del 89.8%.

Este avance en la IA multimodal ha llevado a los investigadores a desarrollar puntos de referencia más desafiantes, como el banco de pruebas SWE para codificación, Heim para generación de imágenes, MMU para razonamiento general y Mocker para razonamiento moral. Estos nuevos puntos de referencia tienen como objetivo empujar los límites de las capacidades de la IA y descubrir sus limitaciones.

Si bien los modelos de IA han alcanzado la saturación de rendimiento en puntos de referencia establecidos como IMAC, SNAP y SuperGLUE, el surgimiento de estas evaluaciones más complejas y exigentes seguirá desafiando a investigadores y desarrolladores. La capacidad de razonar, comprender e interactuar a través de múltiples modalidades es un paso crucial hacia sistemas de IA más versátiles y capaces.

A medida que avance el campo de la IA multimodal, podemos esperar ver aún más avances impresionantes en los próximos años, con agentes de IA cada vez más hábiles para navegar y comprender la naturaleza diversa e interconectada del mundo real.

El informe del índice de IA destaca el rápido progreso en puntos de referencia de IA especializados más allá de las tareas tradicionales de lenguaje y visión. A medida que los sistemas de IA continúan avanzando, los investigadores han desarrollado puntos de referencia más desafiantes y matizados para evaluar sus capacidades.

Algunos desarrollos clave en esta área incluyen:

1. Puntos de referencia de codificación: La introducción del banco de pruebas SWE, un nuevo punto de referencia para evaluar las habilidades de codificación de los modelos de IA. Este punto de referencia ha generado controversia, con algunas acusaciones de que los resultados de la demostración no fueron completamente genuinos. Sin embargo, muchos proyectos de código abierto han mostrado un rendimiento impresionante en esta tarea desafiante.

2. Puntos de referencia de razonamiento: Puntos de referencia como HEIM para el razonamiento de imágenes, MMU para el razonamiento general y MOCKER para el razonamiento moral han surgido para empujar los límites de las capacidades de razonamiento de la IA. Si bien los modelos actuales aún se quedan atrás de los humanos en estas áreas, el informe sugiere que los avances en el razonamiento podrían estar a la vista, posiblemente con el lanzamiento de GPT-5 y otros modelos avanzados.

3. Puntos de referencia basados en agentes: El Banco de Pruebas del Agente, que evalúa el rendimiento de los agentes autónomos en varios entornos, ha mostrado mejoras constantes. Los agentes de IA ahora pueden dominar juegos complejos como Minecraft y abordar tareas del mundo real como la asistencia en compras y la investigación de manera más efectiva.

4. Puntos de referencia de generación de música: La evaluación de los modelos de generación de música en puntos de referencia como MusicCaps ha demostrado avances en la capacidad de la IA para producir música de alta calidad. El informe señala que la brecha entre los modelos de código cerrado y de código abierto en este dominio sigue siendo significativa, lo que sugiere que las capacidades más avanzadas de generación de música se encuentran principalmente en sistemas propietarios.

5. Puntos de referencia multimodales: El informe destaca el surgimiento de modelos de IA multimodales sólidos, como Gemini de Google y GPT-4 de OpenAI, que pueden manejar una combinación de texto, imágenes e incluso audio. Estos modelos han alcanzado la paridad de rendimiento con los humanos en los puntos de referencia multimodales establecidos, lo que indica un avance significativo en este campo.

A medida que estos puntos de referencia especializados continúen evolucionando, proporcionarán una comprensión más matizada y completa de las capacidades y limitaciones de los sistemas de IA modernos. El informe sugiere que la capacidad de razonar, planificar e interactuar con el mundo de formas más complejas será un enfoque clave para los futuros avances de la IA.

Una de las tendencias clave destacadas en el informe es el creciente énfasis en la evaluación humana de los modelos de lenguaje. El informe señala que la arena de chatbots LMS, que utiliza pruebas ciegas A/B y calificaciones humanas para evaluar el rendimiento de los diferentes modelos, se está convirtiendo en un punto de referencia cada vez más importante.

El informe indica que este enfoque de evaluación humana es valioso porque evalúa el rendimiento general de los modelos y la experiencia del usuario, en lugar de depender únicamente de puntuaciones de pruebas específicas. El informe sugiere que algunos de los puntos de referencia tradicionales pueden haber enfrentado problemas de contaminación o errores, lo que hace que el enfoque de evaluación humana sea más confiable.

Específicamente, el informe señala que en la arena de chatbots LMS, GPT-4 Turbo lidera actualmente, incluso después del lanzamiento de Claude 3. Esto indica que los usuarios humanos encuentran que GPT-4 Turbo es el modelo más efectivo y deseable, a pesar de las posibles mejoras en otros modelos.

El informe argumenta que este enfoque de evaluación humana debería utilizarse más ampliamente, ya que proporciona una evaluación más holística de las capacidades de los modelos de lenguaje. A medida que los modelos se vuelven cada vez más sofisticados, la capacidad de interactuar y evaluarlos desde la perspectiva del usuario se está volviendo crucial para comprender su rendimiento y su impacto en el mundo real.

En general, la creciente importancia de la evaluación humana destaca la necesidad de considerar la experiencia del usuario y las aplicaciones prácticas de los modelos de lenguaje, en lugar de centrarse únicamente en los puntos de referencia técnicos. Este cambio refleja la creciente madurez e impacto social de estos sistemas de IA, y la necesidad de asegurar que cumplan con las necesidades y expectativas de los usuarios humanos.

La fusión del modelado del lenguaje con la robótica ha dado lugar a sistemas de robótica más flexibles como PaLM-E y RT2. Más allá de sus capacidades robóticas mejoradas, estos modelos pueden hacer preguntas, lo que marca un paso significativo hacia robots que puedan interactuar de manera más efectiva con el mundo real.

La evolución de estos modelos está aumentando sus capacidades, y la robótica es un desafío más difícil que la IA tradicional. Sin embargo, habrá avances que se complementen entre sí, lo que llevará a robots más efectivos en el futuro. Ya estamos viendo demostraciones impresionantes, como los movimientos fluidos y fluidos del robot Figure One, que se lograron 100% a través de una red neuronal, lo que muestra un rápido progreso en esta área.

En el Banco de Pruebas del Agente, que evalúa los sistemas de agentes autónomos en ocho entornos, la puntuación general está aumentando. Crear sistemas de agentes de IA capaces de operar de manera autónoma en entornos específicos ha sido un desafío durante mucho tiempo, pero la investigación emergente sugiere que el rendimiento de los agentes autónomos está mejorando. Los agentes actuales pueden ahora dominar juegos complejos como Minecraft y abordar tareas del mundo real de manera efectiva, como las compras y la asistencia en la investigación.

El documento destaca las mejoras de rendimiento de Voyager, un sistema de Nvidia, en Minecraft, que utilizó GPT-4 para aumentar las capacidades de razonamiento del agente y permitirle aprender, explorar y planificar en mundos abiertos. Esto demuestra el potencial de utilizar sistemas más potentes en este tipo de tareas de agentes autónomos en el futuro.

El informe destaca varias tendencias clave en el desarrollo de la generación de música impulsada por IA:

1. Mejor rendimiento en los puntos de referencia de música: La evaluación de los modelos de generación de música en los puntos de referencia establecidos como MusicCaps muestra que los sistemas de IA están mejorando constantemente en su capacidad para generar música de alta calidad. Los modelos de lenguaje de código cerrado superan significativamente a sus homólogos de código abierto en estos puntos de referencia.

2. Surgimiento de modelos avanzados de generación de música: Modelos como Music-LM y Music-Gen han demostrado capacidades impresionantes en la generación de música, mostrando los rápidos avances en este dominio. Estos modelos ahora pueden producir música que es cada vez más indistinguible de las piezas compuestas por humanos.

3. **Reducción de la brecha con la