La publicación de Meta del modelo LLAMA 3 ha sido un evento histórico para la comunidad de IA. Los puntos de referencia y el rendimiento de este modelo de código abierto son verdaderamente impresionantes:

• El modelo LLAMA 3 de 8 mil millones de parámetros ya es casi tan poderoso como el modelo LLAMA 2 más grande, mostrando mejoras significativas en eficiencia y capacidad.
• El modelo LLAMA 3 de 70 mil millones de parámetros tiene alrededor de 82 MMLU (Multitask Metric for Language Understanding), liderando los puntos de referencia de razonamiento y matemáticas.
• El próximo modelo LLAMA 3 de 400 mil millones de parámetros, que se encuentra actualmente en entrenamiento, se espera que sea líder en la industria en una serie de puntos de referencia, potencialmente a la par con GPT-4 en capacidad.
• LLAMA 3 ha superado el rendimiento de modelos de vanguardia como Claude Sonet, demostrando la capacidad de Meta para ampliar los límites de la IA de código abierto.
• En comparación con otros modelos de código abierto como Megatron y Gemini, LLAMA 3 los supera consistentemente en una variedad de puntos de referencia y tareas.
• Meta ha desarrollado un nuevo conjunto de evaluación humana de alta calidad para optimizar LLAMA 3 para escenarios del mundo real, asegurando que las capacidades del modelo se traduzcan en aplicaciones prácticas.

La publicación de LLAMA 3 es un hito importante, brindando a la comunidad de IA acceso a un modelo de código abierto poderoso que puede desbloquear el progreso en campos como la ciencia, la salud y más allá. Los avances continuos en el rendimiento de LLAMA 3 son un testimonio del compromiso de Meta de impulsar la innovación en el panorama de la IA.

Meta ha desarrollado un nuevo conjunto de evaluación humana de alta calidad para optimizar el rendimiento de su modelo Llama 3 para escenarios del mundo real. Este conjunto de evaluación contiene 1,800 indicaciones que cubren 12 casos de uso clave, incluyendo:

• Pedir consejos
• Lluvia de ideas
• Clasificación
• Respuesta a preguntas cerradas
• Codificación
• Escritura creativa
• Extracción
• Encarnar a un personaje
• Respuesta a preguntas abiertas
• Razonamiento
• Reescritura
• Resumen

Para evitar el sobreajuste accidental, ni siquiera los propios equipos de modelado de Meta tienen acceso a este conjunto de evaluación.

Cuando se probó frente a otros modelos de vanguardia como Claude Sonic, Llama 3 tuvo un rendimiento notable en la evaluación humana:

• 52% de victorias
• 12.9% de empates
• 34% de derrotas

En varios puntos de referencia, el modelo Llama 3 de 70 mil millones de parámetros superó consistentemente a otros modelos de código abierto y de código cerrado, incluidos Mistral's 8x22B y Gemini Pro 1.0.

El modelo Llama 3 también utiliza un tokenizador más eficiente con un vocabulario de 128,000 tokens, lo que lleva a mejoras de rendimiento sustanciales. Además, los datos de entrenamiento para Llama 3 son siete veces más grandes que los utilizados para Llama 2, con cuatro veces más código y más del 5% de datos no ingleses de alta calidad que cubren más de 30 idiomas.

El modelo llama 3 de Meta utiliza un tokenizador con un vocabulario de 128,000 tokens, lo que permite una codificación más eficiente del lenguaje y conduce a mejoras sustanciales en el rendimiento del modelo.

Los datos de entrenamiento para llama 3 son extensos, comprendiendo más de 5 billones de tokens recopilados de fuentes públicamente disponibles. Este conjunto de datos es 7 veces más grande que el utilizado para llama 2, e incluye 4 veces más código. Además, más del 5% de los datos de entrenamiento consisten en datos no ingleses de alta calidad que cubren más de 30 idiomas, aunque se espera que el rendimiento del modelo sea más fuerte en inglés.

La enorme escala y calidad de los datos de entrenamiento han sido factores clave en los impresionantes resultados de los puntos de referencia de llama 3, superando a modelos de vanguardia como Claude Sonet y superando a otros modelos de código abierto y de código cerrado de tamaños similares. El enfoque de Meta en optimizar el modelo para casos de uso del mundo real a través de un nuevo conjunto de evaluación humana también ha contribuido a su sólido rendimiento.

Además, Meta se encuentra actualmente entrenando una versión aún más grande de llama 3 con 400 mil millones de parámetros, que se espera que alcance las capacidades de la clase GPT-4 y tenga un impacto significativo en el panorama de la investigación y el desarrollo de IA.

Uno de los anuncios más sorprendentes y emocionantes del lanzamiento de LLAMA 3 de Meta es el próximo modelo de 400 mil millones de parámetros. Este enorme modelo aún se encuentra en entrenamiento, con el último punto de control a partir del 15 de abril de 2023.

En comparación con otros modelos de lenguaje grandes como GPT-4 y Chinchilla, este próximo modelo LLAMA 3 parece estar a la par o incluso superar sus capacidades. Según los puntos de referencia proporcionados, se espera que el modelo LLAMA 3 de 400 mil millones de parámetros logre un rendimiento líder en la industria en una variedad de tareas, incluido el punto de referencia de razonamiento y matemáticas MMLU.

Este próximo modelo representa un momento decisivo para la comunidad de IA, ya que proporcionará acceso abierto a un modelo de la clase GPT-4. Se espera que esto cambie significativamente el panorama para muchos esfuerzos de investigación y startups de base, desbloqueando una oleada de innovación y energía de construcción en todo el ecosistema.

Si bien los lanzamientos actuales de LLAMA 3 de 8 mil millones y 70 mil millones de parámetros ya han demostrado un rendimiento impresionante, el modelo de 400 mil millones de parámetros está listo para llevar las cosas al siguiente nivel. A medida que el modelo continúe entrenándose en los próximos meses, se espera que mejore aún más y consolide su posición como una potente base de IA de código abierto que pueda ser aprovechada por desarrolladores e investigadores por igual.

El lanzamiento del modelo Llama 3 de Meta es un evento histórico para la comunidad de IA. El rendimiento del modelo en varios puntos de referencia, incluyendo superar modelos de vanguardia como Claude Sonet, es verdaderamente impresionante.

La apertura de Llama 3 es un paso importante hacia adelante, ya que proporciona a la comunidad de desarrolladores acceso a un poderoso sistema de IA que está a la par con GPT-4 en términos de capacidades. Esto sin duda impulsará la innovación y el progreso en campos como la ciencia, la salud y más allá.

El enfoque de Meta en optimizar Llama 3 para casos de uso del mundo real, como lo demuestra el nuevo conjunto de evaluación humana, es un enfoque encomiable. Al priorizar el rendimiento centrado en el ser humano, Meta se asegura de que el modelo no solo sea impresionante sobre el papel, sino también práctico y útil en aplicaciones cotidianas.

El próximo lanzamiento del modelo Llama 3 de 400 mil millones de parámetros es muy esperado, ya que se espera que empuje aún más los límites de lo que es posible con la IA de código abierto. La comunidad espera con ansias el lanzamiento del modelo y el potencial que tiene para desbloquear nuevas oportunidades de investigación y desarrollo.

En general, el lanzamiento de Llama 3 es un hito importante en el panorama de la IA, y será emocionante ver cómo la comunidad de código abierto aprovecha esta poderosa herramienta para impulsar la innovación y el progreso en los años venideros.