Gemma 2, el último modelo de lenguaje de código abierto de Google, introduce varias innovaciones arquitectónicas que contribuyen a su sólido rendimiento. El modelo utiliza una arquitectura de Transformer solo con decodificador, lo que simplifica el diseño del modelo en comparación con la configuración tradicional de codificador-decodificador.

Una innovación clave es el uso de un tamaño de vocabulario grande de 256,000 tokens. Esto permite que el modelo maneje una amplia gama de tareas multilingües, a pesar de estar entrenado principalmente en datos en inglés. El gran tamaño del vocabulario proporciona al modelo un rico entendimiento léxico, lo que le permite tener un buen desempeño en diversos dominios lingüísticos.

Además, la arquitectura de Gemma 2 incorpora varias modificaciones al diseño estándar de Transformer. Estos incluyen ajustes al mecanismo de atención, la normalización de capas y las conexiones residuales, que tienen como objetivo mejorar la eficiencia y la eficacia del modelo. El informe técnico proporciona información detallada sobre estas elecciones arquitectónicas y su impacto en el rendimiento del modelo.

Además, Gemma 2 aprovecha un enfoque de destilación de conocimiento para entrenar variantes de modelos más pequeños, como las versiones de 9 y 27 mil millones de parámetros. Al destilar el conocimiento de un modelo maestro más grande, los modelos estudiantes más pequeños pueden lograr resultados sólidos manteniendo un tamaño más práctico para su implementación. Esta técnica demuestra el potencial de entrenar de manera eficiente modelos de lenguaje de alto rendimiento sin la necesidad de conjuntos de datos y recursos computacionales masivos.

En general, las innovaciones arquitectónicas de Gemma 2 contribuyen a su rendimiento de vanguardia en varios puntos de referencia, lo que lo convierte en una opción convincente para una amplia gama de tareas de procesamiento de lenguaje natural.

Los modelos Gemini 2 de Google se entrenaron en un conjunto diverso de fuentes de datos, incluyendo conjuntos de datos públicos internos y externos. Los aspectos clave de los datos de entrenamiento son:

1. Indicaciones de LMS Chat: El equipo utilizó las indicaciones (pero no las respuestas) del conjunto de datos LMS Chat, un conjunto de datos público de indicaciones conversacionales. Esto permitió que los modelos aprendieran de una amplia gama de escenarios conversacionales sin estar sesgados por las respuestas predeterminadas.

2. Datos internos: Además de los datos públicos, el equipo también utilizó fuentes de datos internos para el entrenamiento previo de los modelos. Esto probablemente proporcionó a los modelos una base de conocimiento más amplia y diversa.

3. Filtrado de datos: Todos los datos de entrenamiento pasaron por un riguroso proceso de filtrado para eliminar contenido inseguro o duplicado. Esto ayudó a garantizar que los modelos aprendieran de datos de alta calidad y bien seleccionados.

4. Tokenizador multilingüe: Los modelos utilizan un tokenizador con un vocabulario grande de 256,000 tokens, lo que les permite manejar una amplia gama de idiomas, incluidos los no ingleses, durante el entrenamiento y la inferencia.

Al aprovechar este diverso conjunto de datos de entrenamiento, los modelos Gemini 2 pudieron adquirir una base de conocimiento amplia y sólida, lo que probablemente contribuyó a su sólido rendimiento en puntos de referencia y tareas conversacionales del mundo real.

Uno de los principales desafíos en el entrenamiento de modelos de lenguaje a gran escala es la necesidad de grandes cantidades de datos para ajustarlos de manera efectiva. Incluso los modelos más pequeños de la familia Gemini 2 requieren una cantidad significativa de datos, con la familia Lamda 3 siendo ajustada con hasta 15 billones de tokens, lo que resulta en menos del 1% de mejora en comparación con los modelos de vanguardia.

Para abordar este problema, el equipo de Gemini 2 ha adoptado una técnica llamada destilación de conocimiento. Este enfoque implica utilizar un modelo "maestro" más grande, como Gemini 1.5 o Colossal-AI, para entrenar un modelo "estudiante" más pequeño. En lugar de predecir directamente el siguiente token, el modelo estudiante se entrena para coincidir con la distribución de probabilidad del modelo maestro, utilizando la divergencia de Kullback-Leibler (KL) como función de pérdida.

Este proceso de destilación de conocimiento se aplica durante las etapas de entrenamiento previo y ajuste fino de los modelos Gemini 2 más pequeños de 9 y 2 mil millones de parámetros. El modelo de 27 mil millones, por otro lado, se entrena desde cero sin el uso de destilación de conocimiento.

Los beneficios de este enfoque son dobles. En primer lugar, permite que los modelos más pequeños aprovechen el conocimiento y las capacidades del modelo maestro más grande, mejorando su rendimiento en puntos de referencia y tareas. Los estudios de ablación presentados en el documento muestran que el modelo de 2 mil millones de tokens entrenado con destilación de conocimiento logra una puntuación de 67.8, en comparación con solo 60 cuando se entrena desde cero.

En segundo lugar, el proceso de destilación de conocimiento también mejora la perplexidad de los modelos más pequeños, haciéndolos más eficientes durante la inferencia. El documento señala que cambiar el tamaño de la ventana deslizante durante la inferencia tiene un efecto mínimo en la perplexidad, lo que permite velocidades de inferencia más rápidas sin una degradación significativa del rendimiento.

En general, el uso de la destilación de conocimiento en los modelos Gemini 2 es un enfoque prometedor para entrenar modelos de lenguaje más pequeños y eficientes sin sacrificar el rendimiento. Esta técnica podría tener implicaciones más amplias para el desarrollo de sistemas de IA prácticos y de alto rendimiento.

El modelo Gemini 2 utiliza una plantilla de indicación específica para conversaciones de un solo turno. La estructura de la indicación es la siguiente:

<start_of_conversation>
<user_role>
<end_of_turn>
<model_role>
<end_of_sequence>

Para un segundo turno en la conversación, la indicación se anexaría de la siguiente manera:

<start_of_conversation>
<user_role>
<end_of_turn>
<model_role>
<end_of_turn>
<user_role>
<end_of_sequence>

Los puntos clave son:

• La indicación comienza con el token <start_of_conversation>.
• El token <user_role> indica la parte del usuario en la conversación.
• El token <end_of_turn> separa la entrada del usuario y la respuesta del modelo.
• El token <model_role> indica la parte del modelo en la conversación.
• El token <end_of_sequence> marca el final de la conversación.

Este formato de indicación estructurada permite que el modelo entienda el contexto y el flujo de la conversación, lo que puede contribuir a su sólido rendimiento en los puntos de referencia basados en chat.

El enfoque de Google para entrenar los modelos Gemma 2 implicó aprovechar las indicaciones del conjunto de datos LMS chat, pero no las respuestas reales. En su lugar, utilizaron el modelo maestro para generar respuestas a estas indicaciones, que luego se usaron para entrenar los modelos estudiantes a través de la destilación de conocimiento.

Esta estrategia tiene varios beneficios potenciales:

1. Evitar sesgos: Al no utilizar las respuestas predeterminadas del conjunto de datos LMS chat, se alienta al modelo a ser más creativo y flexible en sus salidas, en lugar de simplemente imitar los sesgos presentes en el conjunto de datos.

2. Aprovechar la experiencia del modelo maestro: El modelo maestro, que es más grande y más capaz, se utiliza para generar respuestas de alta calidad a las indicaciones de LMS chat. Estas respuestas se utilizan luego para entrenar a los modelos estudiantes, permitiéndoles beneficiarse de la experiencia del maestro.

3. Mejor rendimiento en los puntos de referencia de LMS: El proceso de destilación de conocimiento, combinado con el uso de indicaciones de LMS chat, probablemente ayude a los modelos Gemma 2 a tener un mejor desempeño en los puntos de referencia y tareas relacionadas con LMS, ya que han sido entrenados específicamente en este tipo de datos.

En general, este enfoque demuestra los esfuerzos de Google por aprovechar diversas fuentes de datos y técnicas de entrenamiento innovadoras para mejorar el rendimiento de sus modelos de lenguaje, particularmente en tareas y puntos de referencia relevantes para aplicaciones del mundo real.

El documento presenta importantes estudios de ablación que validan la eficacia de las técnicas utilizadas en el entrenamiento de los modelos Gemini 2. Estos estudios proporcionan valiosas ideas:

1. Impacto de la destilación de conocimiento: La ablación muestra que para el modelo más pequeño de 2B, el entrenamiento desde cero solo logra una puntuación promedio de punto de referencia de 60, mientras que el proceso de destilación de conocimiento aumenta esto a 67.8, una mejora sustancial. Esto demuestra el poder de la destilación de conocimiento para mejorar el rendimiento de los modelos más pequeños, sin la necesidad de cantidades masivas de datos de entrenamiento.

2. Tamaño de la ventana deslizante: Los experimentos revelan que cambiar el tamaño de la ventana deslizante durante la inferencia tiene un impacto mínimo en la perplexidad. Esto significa que los modelos pueden lograr velocidades de inferencia más rápidas ajustando el tamaño de la ventana, con solo una reducción insignificante en el rendimiento. Esta flexibilidad es crucial para la implementación práctica.

3. Fusión de iteraciones del modelo: El documento menciona que los autores utilizaron una técnica de fusión de múltiples iteraciones de los modelos para mejorar aún más el rendimiento. Este enfoque de promediado de modelos ayuda a estabilizar el entrenamiento y mejorar la calidad del modelo final.

4. Filtrado de seguridad: Los modelos incorporan una capa de seguridad que filtra las salidas inseguras o duplicadas. Esta es una consideración práctica importante para implementar estos modelos de lenguaje a gran escala en aplicaciones del mundo real.

En resumen, los estudios de ablación validan la eficacia de las técnicas clave utilizadas en el entrenamiento de los modelos Gemini 2, incluyendo la destilación de conocimiento, la optimización de la ventana deslizante y el promediado de modelos. Estos hallazgos demuestran el enfoque riguroso de los autores en el desarrollo y optimización de modelos, lo cual es crucial para entregar modelos de lenguaje de alto rendimiento y prácticos.

Los modelos Gemma 2 están fácilmente disponibles para su uso. La forma más sencilla de acceder a ellos es a través de Google AI Studio, donde los modelos se proporcionan en la sección "Modelos". Además, los pesos de los modelos también están disponibles en la plataforma Hugging Face, lo que le permite integrarlos en su propia base de código.

Para usar los modelos Gemma 2, deberá seguir una plantilla de indicación específica. La indicación debe comenzar con tokens especiales, seguidos del rol del usuario, el token de fin de turno, el rol del modelo y el token de fin de secuencia. Para un segundo turno, deberá anexar la misma estructura de indicación al final del anterior, asegurándose de que esté presente el token de fin de secuencia.

Los modelos Gemma 2 vienen en dos versiones: el modelo de 9 mil millones de parámetros y el modelo de 27 mil millones de parámetros. Ambas versiones están disponibles para su uso, y puede elegir la que mejor se adapte a sus necesidades. Los modelos se han entrenado utilizando una combinación de datos públicos internos y externos, incluidas las indicaciones del conjunto de datos LMS chart, pero sin las respuestas correspondientes.

El proceso de destilación de conocimiento utilizado en el entrenamiento de los modelos Gemma 2 más pequeños ha mostrado resultados prometedores, con el modelo de 2 mil millones de parámetros superando al modelo de 6 mil millones de parámetros entrenado desde cero en varios puntos de referencia. Esta técnica podría ser un enfoque valioso para entrenar modelos más pequeños sin sacrificar el rendimiento.

En un video posterior, demostraré cómo integrar los modelos Gemma 2 en su propio código y proporcionaré ejemplos de cómo usarlos de manera efectiva. Manténgase atento para más actualizaciones sobre este emocionante desarrollo en el mundo de los modelos de lenguaje a gran escala.