Grok 1.5, la última versión del modelo de IA desarrollado por el equipo de Elon Musk, ha introducido impresionantes nuevas capacidades de visión. Además de sus sólidas habilidades de procesamiento de texto, Grok ahora puede procesar una amplia variedad de información visual, incluyendo documentos, diagramas, gráficos, capturas de pantalla y fotografías.

El rápido ritmo al que Grok está lanzando nuevas funciones es verdaderamente notable, especialmente teniendo en cuenta que el proyecto es relativamente joven en comparación con otros modelos de IA prominentes como los de OpenAI. Se dice que Grok 1.5V, que pronto estará disponible para los primeros probadores y los usuarios existentes de Grok, es competitivo con los principales modelos multimodales en varios dominios, incluyendo el razonamiento multidisciplinario, la comprensión de documentos, diagramas científicos, gráficos, capturas de pantalla y fotografías.

Uno de los aspectos más emocionantes de Grok 1.5V es su rendimiento en un nuevo punto de referencia "Real World QA", que mide la comprensión espacial y las capacidades de razonamiento de un modelo en escenarios del mundo real. Se informa que Grok supera a sus pares en este punto de referencia, lo que podría ser un precursor de un competidor SOTA (state-of-the-art) del equipo de Grok para varios conjuntos de datos.

Grok 1.5V, la última iteración del modelo de IA de Elon Musk, ha demostrado impresionantes capacidades para procesar una amplia variedad de información visual, incluyendo documentos, diagramas, gráficos, capturas de pantalla y fotografías. El rendimiento del modelo es particularmente notable en las áreas de razonamiento multidisciplinario y comprensión del mundo real.

En un entorno de cero tiros, sin el uso de indicaciones de cadena de pensamiento, Grok 1.5V supera a sus pares en varios puntos de referencia. En la tarea de razonamiento multidisciplinario, Grok 1.5V obtiene un 53.6%, en comparación con el 56.8% de GPT-4V y el 59.4% del modelo CLaude 3 Opus de mejor rendimiento.

La fortaleza de Grok se destaca aún más en el punto de referencia centrado en las matemáticas Vista, donde se lleva el premio con una puntuación de 52.8%. Además, en el punto de referencia AI 2D, que evalúa la comprensión del modelo de los diagramas, Grok 1.5V logra una puntuación impresionante de 88.3%, muy cerca del mejor rendimiento de CLaude 3 Sonic con 88.7%.

Las nuevas capacidades de visión de Grok 1.5 le permiten procesar una amplia variedad de información visual, incluyendo diagramas y flujos de trabajo. En un ejemplo, el usuario proporciona un simple diagrama hecho a mano que describe los pasos de un juego de adivinar un número. Grok 1.5 es capaz de analizar el diagrama y traducirlo directamente en código Python funcional.

El código generado por Grok 1.5 representa con precisión la lógica del flujo de trabajo del juego de adivinación, incluyendo la generación de un número objetivo aleatorio, la lectura de la suposición del usuario y la impresión de la salida apropiada según si la suposición es correcta o no. Esto demuestra la impresionante capacidad de Grok 1.5 para entender la información visual y convertirla en código funcional, sin necesidad de indicaciones o instrucciones adicionales.

Las capacidades de visión de Grok 1.5 son verdaderamente notables. En un ejemplo, el usuario proporciona una foto de los datos nutricionales de una caja de aperitivos, y Grok es capaz de calcular con precisión las calorías en un número determinado de porciones.

El usuario pregunta cuántas calorías hay en cinco rebanadas, dado que los datos nutricionales indican que una porción es de tres rebanadas y contiene 60 calorías. Grok determina correctamente que cinco rebanadas contendrían aproximadamente 100 calorías, demostrando su capacidad para entender la información proporcionada en la imagen y realizar los cálculos necesarios.

Una de las demostraciones más impresionantes de las capacidades visuales de Grok1.5 es su capacidad para generar historias de cuentos de hadas a partir de dibujos simples y rudimentarios. Cuando se le presentó un boceto básico de una persona de pie sobre una roca con un barco en el agua, Grok1.5 pudo tejer un cuento encantador de un valiente niño llamado Timmy que se embarcó en una aventura, construyendo un pequeño barco de papel y explorando el río encantador.

La comprensión de los elementos visuales en el dibujo, combinada con sus habilidades narrativas, permitió a Grok1.5 crear una historia de cuentos de hadas completa y coherente que dio vida a la simple ilustración. Esto demuestra las notables capacidades multimodales de Grok1.5, donde puede integrar sin problemas la información visual con sus habilidades de generación de lenguaje para producir un contenido imaginativo y cautivador.

Uno de los ejemplos más impresionantes presentados en la transcripción es la capacidad de Grok1.5 para entender y explicar el humor detrás de un meme. El meme compara las diferencias entre las startups y las grandes empresas, utilizando una metáfora visual de personas cavando un hoyo.

En el lado izquierdo, etiquetado como "startups", un grupo de personas participa activamente, todos trabajando juntos para cavar el hoyo. En contraste, en el lado derecho, etiquetado como "grandes empresas", solo una persona está realmente cavando el hoyo, mientras que los demás están de pie, observando o participando en otras actividades.

Grok1.5 fue capaz de reconocer las diferencias exageradas entre los dos escenarios y explicar el humor subyacente. Entendió que el meme se burla del contraste a menudo observado entre el sentido de urgencia y la participación directa en las startups, en comparación con la burocracia percibida y el enfoque menos práctico en las empresas más grandes y establecidas.

Las capacidades de visión de Grok 1.5 se extienden a la extracción de datos de imágenes, incluyendo la capacidad de convertir datos tabulares en formato CSV. En uno de los ejemplos proporcionados, el usuario simplemente carga una imagen de una tabla, y Grok es capaz de convertir con precisión los datos en un archivo CSV.

Esta funcionalidad es particularmente útil para digitalizar rápidamente documentos o hojas de cálculo físicos. En lugar de volver a escribir manualmente los datos, los usuarios pueden simplemente tomar una captura de pantalla y dejar que Grok se encargue de la conversión. Esto puede ahorrar una cantidad significativa de tiempo y esfuerzo, especialmente cuando se trata de tablas grandes o complejas.

El hecho de que Grok pueda realizar esta tarea sin necesidad de indicaciones o instrucciones adicionales, en un entorno de cero tiros, es un testimonio de la impresionante comprensión de la información visual del modelo y su capacidad para extraer datos estructurados.

Grok 1.5's new Vision capabilities demonstrate its impressive ability to understand and interact with the physical world. Through a series of examples, we can see how this multimodal AI model can tackle a wide range of real-world tasks, from translating handwritten diagrams into code to analyzing images and providing insightful solutions.

One of the standout features is Grok's capability to interpret visual information, such as diagrams, charts, and screenshots, and translate them into actionable steps. The model was able to take a simple handwritten workflow diagram and generate the corresponding Python code, showcasing its ability to bridge the gap between conceptual representations and concrete implementations.

Furthermore, Grok demonstrated its prowess in understanding and reasoning about physical objects and spatial relationships. Whether it was calculating the calorie content of a snack based on nutrition facts, generating a bedtime story from a child's drawing, or explaining the humor behind a startup-vs-big-company meme, Grok consistently displayed a remarkable level of contextual awareness and problem-solving skills.

The introduction of the Real-World QA Benchmark is particularly exciting, as it aims to evaluate the spatial understanding capabilities of multimodal models. The examples provided, ranging from navigating traffic scenarios to identifying the relative size of objects, highlight Grok's ability to process and reason about the physical world in a way that could have significant implications for applications like autonomous vehicles and robotics.

Overall, Grok 1.5's Vision capabilities represent a significant step forward in the development of AI systems that can seamlessly integrate and understand both textual and visual information. As the model continues to evolve, the potential for real-world applications that leverage its spatial awareness and problem-solving skills is truly exciting.

La introducción del punto de referencia Real-World QA es un paso significativo en el avance del desarrollo de una asistencia de IA útil en el mundo real. Este nuevo punto de referencia está diseñado para evaluar las capacidades básicas de comprensión espacial del mundo real de los modelos multimodales como Grok1.5.

El punto de referencia consta de más de 700 imágenes, cada una con una pregunta y una respuesta fácilmente verificable. Estos ejemplos cubren una amplia gama de escenarios del mundo real, incluyendo la interpretación de señales de tráfico, la comprensión de las relaciones espaciales entre objetos y la evaluación de la viabilidad de las maniobras de conducción.

Grok1.5 ha demostrado un rendimiento impresionante en este punto de referencia, superando a sus modelos pares en varios dominios. La capacidad del modelo para interpretar con precisión la información visual, comprender las relaciones espaciales subyacentes y proporcionar respuestas relevantes es un testimonio de su avanzada comprensión del mundo real.

Los ejemplos presentados en la transcripción destacan las capacidades de Grok1.5 en áreas como:

1. Traducción de diagramas a código: Grok1.5 puede analizar un diagrama de flujo hecho a mano y traducirlo a código Python funcional.
2. Cálculo de información nutricional: El modelo puede extraer y procesar datos de las etiquetas de los productos para determinar el contenido calórico de un tamaño de porción determinado.
3. Generación de narrativas a partir de dibujos: Grok1.5 puede crear historias de cuentos de hadas cautivadoras a partir de un simple dibujo de un niño.
4. Explicación de memes: El modelo puede entender el humor matizado y las diferencias conceptuales representadas en un meme que compara las startups y las grandes empresas.
5. Resolución de problemas de codificación: Grok1.5 puede leer y comprender los desafíos de codificación presentados como capturas de pantalla y proporcionar soluciones funcionales.

Estos ejemplos demuestran la capacidad de Grok1.5 para integrar sin problemas la información visual y textual, aprovechando su profunda comprensión del mundo físico para proporcionar respuestas útiles e informativas.

La introducción del punto de referencia Real-World QA es un paso significativo en el desarrollo de sistemas de IA que pueden asistir verdaderamente a los humanos en su vida diaria. A medida que Grok1.5 y otros modelos continúen mejorando su comprensión del mundo real, podemos esperar ver el surgimiento de más aplicaciones prácticas e intuitivas impulsadas por la IA.

La vista previa de Grok 1.5V muestra avances impresionantes en las capacidades de comprensión visual del modelo. La capacidad de procesar una amplia gama de información visual, incluyendo documentos, diagramas, gráficos, capturas de pantalla y fotografías, es un paso importante hacia adelante. El rendimiento del modelo en el nuevo punto de referencia Real World QA, que evalúa la comprensión espacial, es particularmente notable y sugiere posibles aplicaciones en áreas como la tecnología de vehículos autónomos.

Los ejemplos proporcionados demuestran la versatilidad de Grok 1.5V, desde traducir diagramas hechos a mano en código Python, hasta calcular calorías basadas en datos nutricionales, generar una historia de cuentos de hadas a partir de un dibujo rudimentario e incluso resolver problemas de codificación a partir de una captura de pantalla. Estos casos de uso destacan el potencial del modelo para asistir a los usuarios en una variedad de tareas del mundo real.

El hecho de que Grok 1.5V sea competitivo con otros modelos multimodales de vanguardia, mientras se desarrolla en un período de tiempo relativamente corto en comparación con OpenAI, es un testimonio del impresionante progreso realizado por el equipo de Grok. La posibilidad de que Grok se convierta en de código abierto y de peso abierto, similar a la versión anterior de Grok, es una perspectiva emocionante que podría impulsar aún más la innovación en el campo de la inteligencia artificial.

En general, la vista previa de Grok 1.5V muestra los rápidos avances en las capacidades de IA multimodal y el potencial de estos modelos para convertirse en herramientas valiosas en una amplia gama de aplicaciones.