Новая модель Grok 1.5 Vision продемонстрировала впечатляющие результаты на ряде визуальных бенчмарков. Из семи оцененных визуальных бенчмарков Grok превзошел существующие мультимодальные модели в трех, включая Math Vista, Text Visual Q&A и недавно выпущенный набор данных Real World Q&A. Даже на других бенчмарках производительность Grok была очень близка к другим ведущим моделям, таким как GPT-4, CLIP, Opus и Gemini Pro.

Примеры, представленные в блог-посте, демонстрируют способность Grok переводить блок-схемы в рабочий код Python, вычислять информацию о калориях по этикеткам с питательной ценностью, генерировать истории на основе изображений и даже понимать юмор в мемах. Эти возможности демонстрируют сильное мультимодальное понимание Grok, позволяющее ему бесшовно обрабатывать и понимать как визуальную, так и текстовую информацию.

Выпуск набора данных Real World Q&A, включающего изображения из различных источников, в том числе транспортных средств, расширяет сферу визуального понимания Grok. Этот набор данных может использоваться для разработки и оценки других моделей на основе зрения, способствуя развитию мультимодального искусственного интеллекта.

Впечатляющие возможности Gro 1.5 Vision включают в себя способность генерировать рабочий код Python из изображений диаграмм принятия решений. Эта функция позволяет пользователям просто предоставить изображение диаграммы, и модель может затем перевести эту визуальную информацию в исполняемый код Python.

Эта функциональность особенно полезна для задач, связанных с переводом концептуальных или визуальных представлений в конкретные программные реализации. Автоматизируя этот процесс, Gro 1.5 Vision может значительно сэкономить время и усилия пользователей, позволяя им сосредоточиться на решении более высокоуровневых задач и дизайне, а не на утомительной задаче ручного перевода кода.

Производительность модели в этой задаче чрезвычайно впечатляет, демонстрируя ее глубокое понимание взаимосвязи между визуальными диаграммами и их лежащей в основе программной логикой. Эта возможность является свидетельством достижений в области мультимодальных моделей искусственного интеллекта, которые теперь могут бесшовно интегрировать и обрабатывать как визуальную, так и текстовую информацию.

Новая модель Gro 1.5 Vision продемонстрировала впечатляющие возможности в понимании и обработке визуальной информации, включая способность извлекать данные из этикеток с питательной ценностью. В одном из примеров модель смогла правильно определить количество калорий на порцию и затем рассчитать общее количество калорий для другого количества порций.

Конкретно, модели было показано изображение этикетки с питательной ценностью, на которой указано, что размер порции составляет 3 ломтика, а калорий на порцию - 60. Когда ее попросили рассчитать калории для 5 ломтиков, модель сначала определила количество калорий на ломтик (60 калорий / 3 ломтика = 20 калорий на ломтик), а затем умножила это на 5 ломтиков, чтобы получить правильный ответ - 100 калорий.

Эта способность извлекать и выполнять вычисления на основе визуальной информации является значительным достижением, поскольку она устраняет необходимость в сложных многоэтапных процессах с использованием различных моделей и методик. Способность модели Gro 1.5 Vision быстро и точно получать инсайты из этикеток с питательной ценностью и аналогичных визуальных источников данных является свидетельством прогресса, достигнутого в области мультимодального искусственного интеллекта и визуального понимания.

Gro 1.5 Vision, последняя итерация мультимодальной модели платформы X, продемонстрировала впечатляющие возможности в понимании и обработке визуальной информации. Модель теперь может генерировать истории на основе изображений и даже распознавать юмор в мемах.

В одном из примеров модели было предоставлено изображение и предложено написать историю. Используя свое понимание визуальных элементов, Gro 1.5 Vision смогла создать увлекательный нарратив, эффективно передающий суть изображения.

Кроме того, способность модели распознавать юмор в изображениях особенно примечательна. Когда ей был представлен мем и предложено "Я не понимаю, пожалуйста, объясните", Gro 1.5 Vision точно определила юмористические элементы на изображении. Она объяснила контраст между активно копающей яму командой стартапа и сотрудниками крупной компании, стоящими вокруг ямы, при этом только один человек действительно работает.

Эти возможности демонстрируют достижения в понимании Gro на основе зрения, позволяющие ему не только интерпретировать визуальное содержание, но и извлекать значимые инсайты и генерировать соответствующие ответы. Эта интеграция визуального и языкового понимания открывает новые возможности для приложений в таких областях, как повествование на основе изображений, визуальный вопрос-ответ и даже анализ мемов.

Новый набор данных Real-World Q&A, выпущенный платформой X, является ценным ресурсом для разработки и тестирования визуальных моделей. Этот набор данных состоит примерно из 1700 изображений, включая изображения, сделанные из транспортных средств, которые могут использоваться для оценки способности модели извлекать данные и информацию из реальных визуальных входных данных.

Модель Gro 1.5 Vision, которая является первым поколением мультимодальной модели от платформы X, продемонстрировала впечатляющие результаты на этом новом наборе данных. Модель не только понимает содержание изображений, но и может выполнять задачи, такие как преобразование диаграмм в рабочий код Python, извлечение информации о питательной ценности из этикеток продуктов и даже определение юмора в мемах.

Эти возможности выходят за рамки традиционных задач компьютерного зрения и демонстрируют потенциал мультимодальных моделей для интеграции визуального и текстового понимания. Используя набор данных Real-World Q&A, исследователи и разработчики могут дальше исследовать и расширять применение таких моделей в реальных сценариях, от автоматизации извлечения данных из документов до улучшения систем визуального вопрос-ответа.

Выпуск этого набора данных, наряду с достижениями модели Gro 1.5 Vision, подчеркивает непрерывный прогресс в области мультимодального искусственного интеллекта и его способность обрабатывать и понимать разнообразные формы информации, включая изображения, текст и их взаимодействие.

Анонс Gro 1.5 Vision, первой поколенческой мультимодальной модели от платформы X, является впечатляющей вехой в области компьютерного зрения и обработки естественного языка. Способность модели понимать и обрабатывать визуальную информацию, включая диаграммы, документы, графики, скриншоты и фотографии, поистине примечательна.

Представленные в блог-посте бенчмарки демонстрируют сильные результаты Gro 1.5 Vision на различных визуальных задачах, превзойдя существующие мультимодальные модели в трех из семи бенчмарков. Приведенные примеры, такие как генерация рабочего кода Python из блок-схемы и ответы на вопросы о питательной ценности на этикетке, подчеркивают универсальность и способность модели решать задачи.

Хотя некоторые из этих возможностей могут быть и не совсем новыми, тот факт, что Gro 1.5 Vision может бесшовно интегрировать визуальное и текстовое понимание, является значительным достижением. Выпуск набора данных Real World Q&A дополнительно повышает потенциал для разработки и оценки передовых мультимодальных моделей.

Как упомянул автор, настоящая проверка будет заключаться в том, как Gro 1.5 Vision будет работать в реальных приложениях. Тем не менее, прогресс, достигнутый платформой X в расширении возможностей Gro за счет включения зрения, является многообещающим шагом вперед в области искусственного интеллекта.