La era de los modelos pequeños y altamente eficientes ha llegado. Esta semana, OpenAI lanzó GPT-4 Mini, una versión más pequeña, más rápida y mucho menos costosa de GPT-4. Con un precio de 15 centavos por millón de tokens de entrada y 60 centavos por millón de tokens de salida, GPT-4 Mini es un 60% más barato que GPT-3.5 Turbo.

GPT-4 Mini obtiene un impresionante 82% en el benchmark MLU y actualmente supera a GPT-4 en las preferencias de chat en el ranking LM Cy. Admite texto y visión en la API, con soporte para entradas y salidas de texto, imagen, video y audio que se incorporarán en el futuro. El modelo tiene una ventana de contexto de 128,000 tokens y conocimiento hasta octubre de 2023.

En las pruebas de rendimiento, GPT-4 Mini demostró su velocidad y capacidades. Fue capaz de generar rápidamente un script de Python para imprimir los números del 1 al 100, crear un juego de Snake funcional y resolver varios problemas de lógica y razonamiento. En comparación con GPT-4, GPT-4 Mini fue hasta tres veces más rápido en algunas tareas.

Sin embargo, cuando se trataba de tareas relacionadas con la visión, como analizar imágenes y convertir un documento de Excel a CSV, GPT-4 Mini tardó más y utilizó significativamente más tokens que GPT-4. Esto sugiere que para tareas que involucren visión, GPT-4 puede ser la mejor opción si la latencia es una preocupación.

Comencé probando la capacidad de GPT-4 Mini para generar scripts de Python simples. Fue capaz de imprimir rápida y precisamente los números del 1 al 100. Luego, le pedí que escribiera el juego de Snake en Python, y entregó un script funcional en solo 5.8 segundos, lo que fue 3 veces más rápido que GPT-4.

Luego probé su capacidad para manejar solicitudes más delicadas, como cómo romper un automóvil. Si bien GPT-4 Mini proporcionó algo de información, sé que este tipo de contenido probablemente se corregirá pronto, por lo que lo marqué como un fracaso.

Pasando a tareas más lógicas y basadas en el razonamiento, GPT-4 Mini se desempeñó muy bien. Explicó correctamente el tiempo de secado de las camisas, resolvió un problema matemático básico e incluso contó con precisión la cantidad de palabras en mi respuesta anterior.

Cuando se le presentó un rompecabezas lógico clásico sobre asesinos en una habitación, GPT-4 Mini proporcionó una explicación detallada y paso a paso que coincidía con la respuesta de GPT-4.

También probé sus capacidades de visión al pedirle que explicara un meme y convirtiera una captura de pantalla de Excel a formato CSV. Si bien GPT-4 fue más rápido en las tareas de visión, GPT-4 Mini aún pudo completarlas con éxito.

GPT-4 Mini demostró impresionantes habilidades de razonamiento y lógica durante el proceso de prueba. Aquí se destacan los puntos clave:

• Resolvió correctamente el script de Python para imprimir los números del 1 al 100, así como la implementación del juego de Snake, mostrando sus habilidades de programación.
• Proporcionó una explicación sólida para el problema del tiempo de secado de las camisas, reconociendo que el tiempo de secado es independiente de la cantidad de camisas.
• Calculó con precisión el cargo total del hotel, incluida la tarifa de la habitación, los impuestos y el cargo adicional.
• Identificó correctamente la cantidad de palabras en la respuesta dada, superando al modelo más grande de GPT-4.
• Razonó lógicamente a través del escenario del "problema del asesino", identificando el número correcto de asesinos restantes.
• Demostró un fuerte entendimiento del problema de las bolas de mármol, deduciendo correctamente la ubicación final de la bola de mármol.

Si bien GPT-4 Mini tuvo dificultades con algunas tareas, como las "10 oraciones que terminan con Apple" y el análisis de imágenes basado en visión, en general exhibió un sólido dominio del razonamiento y el pensamiento lógico. La velocidad y la rentabilidad del modelo lo convierten en una opción atractiva para muchas aplicaciones que priorizan estas capacidades cognitivas.

GPT-4 Mini demostró un rendimiento impresionante en las tareas de visión y procesamiento de imágenes presentadas. Aquí se encuentran los hallazgos clave:

• Explicación de imágenes: Cuando se le mostró un meme que contrastaba la dinámica de las startups y las grandes empresas, GPT-4 Mini explicó con precisión el chiste y las diferencias representadas en las dos imágenes.

• Conversión de imagen a CSV: Cuando se le proporcionó una captura de pantalla de una hoja de cálculo de Excel, GPT-4 Mini pudo convertir correctamente los datos a formato CSV, demostrando su capacidad para procesar y transformar información visual.

• Análisis de almacenamiento: Cuando se le presentó una captura de pantalla de la distribución del almacenamiento de un iPhone, GPT-4 Mini identificó correctamente el espacio de almacenamiento restante y la aplicación que consumía más almacenamiento, demostrando su capacidad para extraer e interpretar información relevante de los datos visuales.

Sin embargo, el análisis también reveló que, si bien GPT-4 Mini se destacó en las tareas basadas en texto, fue más lento y requirió significativamente más tokens al procesar entradas visuales en comparación con el modelo más grande de GPT-4. Esto sugiere que para aplicaciones que dependen en gran medida de la visión y el procesamiento de imágenes, el modelo estándar de GPT-4 puede ser la opción más adecuada, priorizando el rendimiento sobre la rentabilidad de GPT-4 Mini.

En general, los resultados resaltan la versatilidad de GPT-4 Mini para manejar una variedad de tareas, incluida la visión y el procesamiento de imágenes, al tiempo que mantiene una ventaja de rendimiento sustancial y una mayor rentabilidad en comparación con su contraparte más grande. Esto convierte a GPT-4 Mini en una opción atractiva para aplicaciones donde el equilibrio entre costo y rendimiento es un factor clave a considerar.