Meta ha lanzado su modelo Llama3, un asistente de chat de IA similar a GPT-4. Los resultados iniciales han sido bastante impresionantes, con Llama3 que se desempeña bien en varios puntos de referencia. La versión de 70 mil millones de parámetros de Llama3 se puede ejecutar en una máquina de escritorio potente y ha logrado un 82% en el punto de referencia de la tarea de codificación HumanEval, lo que está cerca del rendimiento de los sistemas propietarios modernos.

Llama3 también se ha desempeñado bien en la prueba científica GPQA, con una puntuación cercana al 40%, lo que es muy impresionante. Sin embargo, su rendimiento en tareas centradas en las matemáticas no es tan fuerte, con una puntuación del 50%, en comparación con GPT-4 de OpenAI, que puede lograr más del 70% en problemas matemáticos similares.

Además, Meta está trabajando en un modelo aún más grande de aproximadamente 400 mil millones de parámetros, que se espera que tenga mejoras significativas sobre la versión de 70 mil millones de parámetros en varias pruebas. Este modelo más grande aún está en desarrollo, pero se espera que se lance en algún momento antes de que finalice el año.

Cuando se trata de evaluar el rendimiento de los modelos de IA, la elección de los puntos de referencia es crucial. El punto de referencia ideal debe mantener un equilibrio entre ser lo suficientemente desafiante como para diferenciar a los modelos, pero no tan difícil que los modelos tengan problemas para funcionar bien.

Las pruebas con una tasa de éxito inferior al 10% generalmente no se consideran buenas para las pruebas, ya que se vuelve más difícil sacar conclusiones estadísticamente significativas. Por otro lado, las pruebas con una tasa de éxito del 80-85% o superior pueden comenzar a perder significado, ya que podrían contener errores o tener respuestas que se han filtrado, lo que permite que los modelos simplemente repliquen las respuestas correctas.

La prueba GPQA, que cubre una variedad de disciplinas científicas como química orgánica, biología molecular y física, se cita como un buen ejemplo de un punto de referencia desafiante pero significativo. Lograr cerca del 40% en esta prueba se considera muy impresionante.

Llama3, el chatbot de IA de código abierto de Meta, ha mostrado un rendimiento impresionante en varios puntos de referencia, igualando o incluso superando a los sistemas propietarios como GPT-4. Con una versión de 70 mil millones de parámetros disponible para su uso en máquinas de escritorio potentes, Llama3 ha logrado un 82% en la tarea de codificación HumanEval y un impresionante 40% en la desafiante prueba científica GPQA. Si bien su rendimiento matemático del 50% se queda atrás del 70% de GPT-4, se espera que el próximo modelo de 400 mil millones de parámetros mejore aún más estos resultados.

Igualmente impresionante es Gemini 1.5 Pro de Google DeepMind, que ha demostrado un fuerte rendimiento en el tablero de clasificación de Arena, incluso superando a versiones anteriores de GPT-4 en algunos aspectos. La capacidad de Gemini 1.5 Pro para aprender de películas y bases de código completas lo distingue, y ha logrado el segundo lugar general, así como el primer lugar para los avisos más largos.

Puedes probar los modelos de IA Llama3 y Gemini 1.5 Pro de forma gratuita de las siguientes maneras:

1. Llama3:

   • Según el leal saber y entender del autor, puedes probar Llama3 en el sitio web de Meta, si te encuentras fuera de Europa.
   • También puedes descargar y ejecutar el modelo Llama3 en cualquier lugar.
   • Hay sitios web que están alojando Llama3, y puedes probarlo a través de estas plataformas. Los enlaces se proporcionan en la descripción del video.

2. Gemini 1.5 Pro:

   • Gemini 1.5 Pro, desarrollado por Google DeepMind, también está disponible para probar de forma gratuita, fuera de la UE.
   • El enlace para acceder a Gemini 1.5 Pro se proporciona en la descripción del video.

El autor enfatiza que tanto Llama3 como Gemini 1.5 Pro son modelos de IA impresionantes que casi son tan buenos como los sistemas propietarios de pago, pero puedes usarlos de forma gratuita.

Los asistentes de IA están mejorando a un ritmo sorprendente, y los modelos de código abierto como Llama3 y Gemini 1.5 Pro ahora son casi tan capaces como los sistemas propietarios de pago, como GPT-4. Estos modelos de código abierto están disponibles de forma gratuita para que todos los usen, lo que es un desarrollo increíble.

Llama3, el modelo de 70 mil millones de parámetros de Meta, está rindiendo notablemente bien en varios puntos de referencia, incluida la desafiante prueba GPQA en dominios científicos. Si bien puede no ser tan fuerte en matemáticas como GPT-4, aún así ofrece resultados impresionantes. Además, se espera que el próximo modelo Llama3 de 400 mil millones de parámetros mejore aún más estas capacidades.

De manera similar, Gemini 1.5 Pro de Google DeepMind también es un asistente de IA altamente capaz, que rivaliza con el rendimiento de versiones anteriores de GPT-4. Se destaca particularmente en tareas que involucran avisos más largos y contextos complejos, como ver películas completas o aprender bases de código.

La disponibilidad de estos modelos de IA de código abierto, que se pueden probar de forma gratuita, es un hito importante. Democratiza el acceso a la tecnología de IA avanzada y permite que todos exploren y se beneficien de estas poderosas herramientas. Este es un momento maravilloso para estar vivo, ya que somos testigos del rápido progreso de la IA y la creciente accesibilidad de estas notables capacidades.