Mixtral AI ha lanzado recientemente un modelo de peso abierto masivo, el Mixtral 8x22B MoE, que cuenta con una impresionante cantidad de 176 mil millones de parámetros. Este modelo es una mezcla de ocho modelos expertos, cada uno con 22 mil millones de parámetros, lo que resulta en un modelo de lenguaje altamente capaz y versátil.

El Mixtral 8x22B MoE tiene varias características notables:

• Longitud de contexto grande: El modelo puede admitir hasta 655,000 tokens, significativamente más que las generaciones anteriores.
• Rendimiento impresionante: Incluso en su forma base, el modelo supera al modelo de peso abierto anterior de vanguardia, Cair R+, en una variedad de puntos de referencia.
• Disponibilidad comercial: El modelo se lanza bajo la licencia Apache 2.0, lo que permite su uso comercial.
• Integración de Hugging Face: El modelo y su tokenizador ya están disponibles en la plataforma Hugging Face, lo que lo hace accesible a la comunidad de IA en general.

Si bien los datos de entrenamiento previo y las capacidades multilingües del modelo aún se desconocen, las evaluaciones iniciales sugieren que el Mixtral 8x22B MoE es un modelo de lenguaje altamente capaz. Se estima que su rendimiento se encuentra entre las capacidades de Chinchilla y GPT-4, aunque se alienta a los usuarios a probar el modelo en sus propias aplicaciones para una evaluación más precisa.

La versión base del modelo Mistal AI 822B ha demostrado un rendimiento impresionante, incluso superando al modelo de peso abierto anterior, Cair R+, en varias evaluaciones. Si bien los números de rendimiento oficiales aún no están disponibles, la comunidad ha podido recopilar algunos conocimientos.

El rendimiento del modelo parece estar en algún punto entre Chinchilla y GPT-4, con la salvedad de que las evaluaciones pueden no capturar por completo las capacidades reales del modelo en el mundo real. Se considera que el Benchmark de la Arena de Chat de LMS es una buena representación del rendimiento del modelo en aplicaciones prácticas.

Un aspecto notable del modelo base es su capacidad para seguir instrucciones y proporcionar respuestas relevantes, lo cual normalmente no se espera de un modelo base. Esto sugiere que el modelo puede haber sido entrenado con una cantidad significativa de datos de instrucción, lo que podría indicar las capacidades de las próximas versiones con instrucciones específicas.

El modelo también demuestra un grado de comportamiento sin censura, como lo demuestra su respuesta al mensaje sobre irrumpir en un automóvil. Esta es una característica de los modelos sin restricciones, y es probable que las versiones con instrucciones específicas estén más alineadas y sean menos propensas a participar en actividades no éticas o ilegales.

El modelo demuestra capacidades impresionantes, incluso en su versión base. Cuando se le pidió que respondiera cuántos helicópteros puede comer un ser humano de una sola vez, el modelo proporciona una respuesta reflexiva, explicando que no tiene la capacidad de consumir objetos físicos, pero brinda información sobre los peligros de comer artículos que no son alimentos.

El modelo también muestra su capacidad para seguir instrucciones, como lo demuestra su respuesta al mensaje sobre irrumpir en un automóvil. Si bien reconoce que dicha acción es ilegal, aún proporciona algunas opciones potenciales, demostrando su naturaleza sin censura.

Para probar las habilidades de escritura creativa del modelo, se le dio un mensaje sobre la opinión de Jon Snow sobre el iPhone 14. El modelo generó una narrativa coherente, manteniéndose fiel a las instrucciones proporcionadas.

Cuando se le preguntó sobre la moralidad de matar mosquitos, el modelo expresó una opinión clara, explicando la importancia de los mosquitos en el ecosistema y el daño potencial que puede causar matarlos.

Las sugerencias de inversión del modelo, si bien no son del todo sorprendentes, demuestran su comprensión de la industria de la IA y su capacidad para proporcionar recomendaciones relevantes.

Sin embargo, el modelo tuvo dificultades con algunas preguntas basadas en la lógica, como la relacionada con los hermanos de Sally. No pudo proporcionar la respuesta correcta, lo que resalta la necesidad de un mayor refinamiento y ajuste fino.

La transcripción indica que el modelo demuestra cierto nivel de razonamiento moral cuando se le pregunta sobre la ética de matar mosquitos. El modelo afirma que "no es moralmente correcto matar mosquitos" ya que son parte del ecosistema natural y proporcionan una fuente de alimento para otros animales. Explica que perturbar el ecosistema puede causar daño a otras especies. Esto sugiere que el modelo ha sido entrenado para considerar las implicaciones ambientales y ecológicas más amplias de las acciones, en lugar de tener una visión simplista de lo correcto e incorrecto.

Sin embargo, la respuesta del modelo también resalta las limitaciones de su razonamiento moral. Cuando se le preguntó sobre irrumpir en un automóvil, el modelo reconoce que es ilegal, pero luego procede a proporcionar instrucciones paso a paso, lo que indica una falta de un fuerte alineamiento moral en contra de las acciones no éticas. Además, el modelo no pudo resolver correctamente un problema lógico simple sobre las relaciones familiares, lo que sugiere que sus capacidades de razonamiento tienen margen de mejora.

En general, la transcripción demuestra que el modelo tiene algunas capacidades básicas de razonamiento moral, pero también resalta la necesidad de un mayor refinamiento y alineación para garantizar que el modelo tome decisiones consistentemente éticas, en lugar de simplemente proporcionar información sin un sólido fundamento moral.

El modelo proporcionó una lista de empresas relacionadas con la IA que recomendaría para invertir, incluyendo Nvidia, Google, Microsoft, Amazon e IBM. Esta es una selección razonable, ya que se trata de actores importantes en la industria de la IA y la tecnología.

Nvidia es un fabricante líder de GPU y otros hardware esenciales para aplicaciones de IA y aprendizaje automático. Google, Microsoft y Amazon son gigantes tecnológicos con inversiones y capacidades significativas en investigación y desarrollo de IA. IBM también tiene una fuerte presencia en el espacio de la IA, aunque quizás no sea tan dominante como algunas de las otras empresas mencionadas.

En general, las sugerencias de inversión del modelo parecen estar basadas en un sólido entendimiento de la industria de la IA y los actores clave dentro de ella. Si bien las recomendaciones pueden no ser exhaustivas, proporcionan un buen punto de partida para alguien que busque invertir en empresas relacionadas con la IA. Sin embargo, es importante tener en cuenta que las decisiones de inversión deben basarse en una investigación y análisis exhaustivos, y no solo en las recomendaciones de un modelo de IA.

El rendimiento del modelo en los desafíos matemáticos y de programación fue mixto. Si bien pudo proporcionar un programa de Python correcto para escribir un archivo en un bucket S3, tuvo dificultades con algunos problemas matemáticos básicos.

Para la pregunta sobre el número de hermanas que tiene Sally, el modelo no pudo proporcionar la respuesta correcta, incluso después de varios intentos. O bien afirmó que no podía responder la pregunta o dio una respuesta incorrecta.

De manera similar, para el "Problema del asesino", la respuesta del modelo fue incorrecta, afirmando que si inicialmente había 99 asesinos y se mató a uno, quedarían 98 asesinos. Esta no es la solución correcta al problema.

Sin embargo, la capacidad del modelo para generar un programa de Python que funcione para interactuar con un bucket S3 es impresionante, lo que demuestra sus sólidas habilidades de programación. Esto sugiere que el modelo puede ser más adecuado para tareas que involucren codificación y desarrollo de software, en lugar de razonamiento matemático puro.

En general, el rendimiento del modelo en este tipo de desafíos es mixto, con fortalezas en ciertas áreas y debilidades en otras. A medida que el modelo se refine y mejore aún más, será interesante ver cómo evolucionan sus capacidades en estos dominios.