새로운 Grok 1.5 Vision 모델은 다양한 시각적 벤치마크에서 인상적인 성능을 보여주었습니다. 평가된 7개의 시각적 벤치마크 중 Grok은 Math Vista, Text Visual Q&A, 그리고 새로 출시된 Real World Q&A 데이터셋에서 기존 멀티모달 모델을 능가했습니다. 다른 벤치마크에서도 Grok의 성능은 GPT-4, CLIP, Opus, Gemini Pro와 같은 다른 선도적인 모델들과 매우 근접했습니다.

블로그 게시물에 소개된 예시들은 Grok의 결정 다이어그램을 작동 가능한 Python 코드로 번역하고, 영양 성분표에서 칼로리 정보를 계산하며, 이미지를 기반으로 스토리를 생성하고 심지어 밈의 유머를 이해할 수 있는 능력을 보여줍니다. 이러한 기능은 Grok의 강력한 멀티모달 이해력을 입증하며, 시각적 및 텍스트 정보를 원활하게 처리하고 이해할 수 있음을 보여줍니다.

Real World Q&A 데이터셋의 출시는 차량을 포함한 다양한 출처의 이미지를 포함하여 Grok의 시각적 이해 범위를 확장합니다. 이 데이터셋은 다른 비전 기반 모델을 개발하고 평가하는 데 사용될 수 있으며, 멀티모달 AI 발전에 기여할 것입니다.

Grok의 많은 기능이 완전히 새로운 것은 아니지만, X 플랫폼이 이러한 기능을 단일 모델에 성공적으로 통합했다는 점은 인상적입니다. Grok 1.5 Vision 모델이 초기 테스터와 기존 Grok 사용자에게 제공되면서, 실제 응용 프로그램에서의 성능과 다른 최신 멀티모달 모델과의 비교가 흥미로울 것입니다.