Le nouveau modèle Grok 1.5 Vision a démontré des performances impressionnantes sur une gamme de repères visuels. Sur les sept repères visuels évalués, Grok a surpassé les modèles multimodaux existants sur trois d'entre eux, notamment Math Vista, Text Visual Q&A et le tout nouveau jeu de données Real World Q&A. Même sur les autres repères, les performances de Grok étaient très proches d'autres modèles de pointe comme GPT-4, CLIP, Opus et Gemini Pro.

Les exemples présentés dans le billet de blog mettent en évidence la capacité de Grok à traduire des diagrammes de flux en code Python fonctionnel, à calculer les informations caloriques à partir d'étiquettes nutritionnelles, à générer des histoires à partir d'images et même à comprendre l'humour des mèmes. Ces capacités démontrent la forte compréhension multimodale de Grok, lui permettant de traiter et de comprendre de manière transparente les informations visuelles et textuelles.

La publication du jeu de données Real World Q&A, qui comprend des images de diverses sources, notamment de véhicules, élargit encore la portée de la compréhension visuelle de Grok. Ce jeu de données peut être utilisé pour développer et évaluer d'autres modèles basés sur la vision, contribuant ainsi à l'avancement de l'IA multimodale.

Bien que de nombreuses capacités de Grok ne soient pas entièrement nouvelles, le fait que la plateforme X ait réussi à intégrer ces fonctionnalités dans un seul modèle est impressionnant. Alors que le modèle Grok 1.5 Vision devient accessible aux premiers testeurs et aux utilisateurs existants de Grok, il sera intéressant de voir comment il se comportera dans des applications réelles et comment il se comparera aux autres modèles multimodaux de pointe.

Les capacités impressionnantes de Gro 1.5 Vision incluent la possibilité de générer du code Python fonctionnel à partir d'images de diagrammes de décision. Cette fonctionnalité permet aux utilisateurs de simplement fournir une image d'un diagramme, et le modèle peut alors traduire cette information visuelle en code Python exécutable.

Cette fonctionnalité est particulièrement utile pour les tâches impliquant la traduction de représentations conceptuelles ou visuelles en implémentations de programmation concrètes. En automatisant ce processus, Gro 1.5 Vision peut faire gagner aux utilisateurs un temps et des efforts considérables, leur permettant de se concentrer sur la résolution de problèmes et la conception de haut niveau plutôt que sur la tâche fastidieuse de la traduction manuelle du code.

Les performances du modèle sur cette tâche sont très impressionnantes, démontrant sa forte compréhension de la relation entre les diagrammes visuels et leur logique programmatique sous-jacente. Cette capacité témoigne des progrès réalisés dans les modèles d'IA multimodale, qui peuvent désormais intégrer et traiter de manière transparente les informations visuelles et textuelles.

Le nouveau modèle Gro 1.5 Vision a démontré des capacités impressionnantes dans la compréhension et le traitement des informations visuelles, notamment la capacité à extraire des données à partir d'étiquettes nutritionnelles. Dans l'un des exemples fournis, le modèle a pu identifier correctement les calories par tranche et calculer ensuite le nombre total de calories pour un nombre différent de tranches.

Plus précisément, le modèle s'est vu présenter une image d'une étiquette nutritionnelle indiquant une portion de 3 tranches et 60 calories par portion. Lorsqu'on lui a demandé de calculer les calories pour 5 tranches, le modèle a d'abord déterminé les calories par tranche (60 calories / 3 tranches = 20 calories par tranche), puis les a multipliées par 5 tranches pour arriver à la réponse correcte de 100 calories.

Cette capacité à extraire et à effectuer des calculs sur les données à partir d'informations visuelles est une avancée significative, car elle élimine le besoin de processus complexes et multi-étapes impliquant divers modèles et techniques. La capacité du modèle Gro 1.5 Vision à dériver rapidement et avec précision des informations à partir d'étiquettes nutritionnelles et de sources de données visuelles similaires témoigne des progrès réalisés dans l'IA multimodale et la compréhension visuelle.

Gro 1.5 Vision, la dernière itération du modèle multimodal de la plateforme X, a démontré des capacités impressionnantes dans la compréhension et le traitement des informations visuelles. Le modèle peut désormais générer des histoires à partir d'images et même reconnaître l'humour dans les mèmes.

Dans un exemple, le modèle s'est vu fournir une image et on lui a demandé d'écrire une histoire. En s'appuyant sur sa compréhension des éléments visuels, Gro 1.5 Vision a pu créer un récit captivant qui a effectivement saisi l'essence de l'image.

En outre, la capacité du modèle à reconnaître l'humour dans les images est particulièrement remarquable. Lorsqu'on lui a présenté un mème et la demande "Je ne comprends pas, peux-tu m'expliquer", Gro 1.5 Vision a correctement identifié les éléments humoristiques de l'image. Il a expliqué le contraste entre l'équipe de démarrage creusant activement un trou et les employés de la grande entreprise se tenant autour d'un trou, avec une seule personne travaillant réellement.

Ces capacités illustrent les progrès de la compréhension visuelle de Gro, lui permettant non seulement d'interpréter le contenu visuel, mais aussi d'en extraire des informations pertinentes et de générer des réponses appropriées. Cette intégration de la compréhension visuelle et linguistique ouvre de nouvelles possibilités d'applications dans des domaines tels que la narration d'images, la réponse aux questions visuelles et même l'analyse des mèmes.

Le nouveau jeu de données Real-World Q&A publié par la plateforme X est une ressource précieuse pour le développement et les tests de modèles visuels. Ce jeu de données se compose d'environ 1 700 images, y compris des images prises à partir de véhicules, qui peuvent être utilisées pour évaluer la capacité d'un modèle à extraire des données et des informations à partir d'entrées visuelles du monde réel.

Le modèle Gro 1.5 Vision, qui est le premier modèle multimodal de la plateforme X, a démontré des performances impressionnantes sur ce nouveau jeu de données. Le modèle peut non seulement comprendre le contenu des images, mais aussi effectuer des tâches telles que la conversion de diagrammes en code Python fonctionnel, l'extraction d'informations nutritionnelles à partir d'étiquettes de produits et même l'identification de l'humour dans les mèmes.

Ces capacités vont au-delà des tâches traditionnelles de vision par ordinateur et montrent le potentiel des modèles multimodaux à intégrer la compréhension visuelle et textuelle. En tirant parti du jeu de données Real-World Q&A, les chercheurs et les développeurs peuvent explorer et développer davantage les applications de ces modèles dans des scénarios du monde réel, de l'automatisation de l'extraction de données à partir de documents à l'amélioration des systèmes de réponse aux questions visuelles.

La publication de ce jeu de données, ainsi que les progrès du modèle Gro 1.5 Vision, soulignent les progrès continus dans le domaine de l'IA multimodale et sa capacité à traiter et à comprendre diverses formes d'informations, y compris les images, le texte et leurs interactions.

L'annonce de Gro 1.5 Vision, le premier modèle multimodal de la plateforme X, est une étape impressionnante dans le domaine de la vision par ordinateur et du traitement du langage naturel. La capacité du modèle à comprendre et à traiter les informations visuelles, y compris les diagrammes, les documents, les graphiques, les captures d'écran et les photographies, est véritablement remarquable.

Les repères présentés dans le billet de blog démontrent les performances solides de Gro 1.5 Vision sur diverses tâches visuelles, surpassant les modèles multimodaux existants sur trois des sept repères. Les exemples fournis, comme la génération de code Python fonctionnel à partir d'un diagramme de flux et la réponse à des questions sur les informations nutritionnelles d'une étiquette, mettent en évidence la polyvalence et les capacités de résolution de problèmes du modèle.

Bien que certaines de ces capacités ne soient pas entièrement nouvelles, le fait que Gro 1.5 Vision puisse intégrer de manière transparente la compréhension visuelle et textuelle est une avancée significative. La publication du jeu de données Real World Q&A renforce encore le potentiel de développement et d'évaluation de modèles multimodaux avancés.

Comme l'a mentionné l'auteur, le véritable test sera de voir comment Gro 1.5 Vision se comportera dans des applications du monde réel. Néanmoins, les progrès réalisés par la plateforme X dans l'expansion des capacités de Gro pour inclure la vision constituent une étape prometteuse dans le domaine de l'intelligence artificielle.