Grok 1.5, 엘론 머스크의 팀이 개발한 최신 AI 모델 버전, 새로운 비전 기능을 소개했습니다. 강력한 텍스트 처리 능력 외에도 Grok은 이제 문서, 다이어그램, 차트, 스크린샷, 사진 등 다양한 시각 정보를 처리할 수 있습니다.

Grok이 새로운 기능을 빠르게 출시하는 것은 정말 놀라운 일입니다. 특히 OpenAI와 같은 다른 유명 AI 모델에 비해 Grok 프로젝트가 상대적으로 젊다는 점을 고려하면 더욱 그렇습니다. 곧 출시될 Grok 1.5V는 다학제적 추론, 문서 이해, 과학 다이어그램, 차트, 스크린샷, 사진 등 여러 분야에서 선도적인 멀티모달 모델들과 경쟁할 수 있을 것으로 알려졌습니다.

Grok 1.5V의 가장 흥미로운 부분 중 하나는 새로운 "Real World QA" 벤치마크 성능입니다. 이 벤치마크는 모델의 공간 이해 및 추론 능력을 실제 시나리오에서 측정합니다. Grok은 이 벤치마크에서 동료 모델들을 능가하는 것으로 보고되었으며, 이는 Grok 팀이 다양한 데이터셋에서 SOTA(최첨단) 모델을 선보일 수 있음을 시사합니다.

제공된 예시에서는 Grok의 다재다능함을 확인할 수 있습니다. 손으로 그린 다이어그램을 Python 코드로 변환하고, 영양 정보를 기반으로 칼로리를 계산하며, 간단한 그림에서 취침 시간 이야기를 생성하고, 밈의 유머를 설명하며, 테이블 이미지를 CSV 파일로 변환하고, 스크린샷의 코딩 문제를 해결하는 등의 작업을 수행합니다. 이러한 사례는 Grok의 실제 세계에 대한 이해와 상호작용 능력이 뛰어나다는 것을 보여줍니다. 이는 실용적인 AI 어시스턴트 개발에 큰 영향을 미칠 수 있습니다.

Real World QA 벤치마크 도입은 Grok 팀이 실제 세계에 대한 모델의 이해를 발전시키는 데 중점을 두고 있음을 시사합니다. 이는 실용적인 AI 애플리케이션을 만드는 데 필수적입니다. 또한 테슬라의 방대한 실세계 데이터, 즉 공간 및 텍스트 정보 활용이 Grok이 이 분야에서 경쟁자를 능가할 수 있는 핵심 요인일 수 있습니다.

전반적으로 Grok 1.5V의 비전 기능 미리보기는 멀티모달 AI 분야의 급속한 발전을 보여줍니다. Grok이 계속 발전하고 오픈소스 및 오픈웨이트 모델이 될 경우, 다른 선도적인 모델들과 어떻게 비교되며 혁신적인 실세계 애플리케이션 개발에 어떻게 활용될 수 있을지 기대됩니다.

Grok 1.5V, 엘론 머스크의 AI 모델의 최신 버전은 문서, 다이어그램, 차트, 스크린샷, 사진 등 다양한 시각 정보를 처리할 수 있는 인상적인 기능을 선보였습니다. 특히 다학제적 추론 및 실세계 이해 분야에서 돋보입니다.

체인 사고 프롬프팅 없이 제로 샷 설정에서 Grok 1.5V는 여러 벤치마크에서 동료 모델들을 능가합니다. 다학제적 추론 작업에서 Grok 1.5V는 53.6%를 기록했는데, 이는 GPT-4V의 56.8%, 최고 성능 CLaude 3 Opus 모델의 59.4%보다 낮습니다.

Grok의 강점은 수학 중심 Vista 벤치마크에서 더욱 두드러집니다. 여기서 Grok은 52.8%의 점수로 1위를 차지했습니다. 또한 다이어그램 이해를 평가하는 AI 2D 벤치마크에서 Grok 1.5V는 88.3%의 점수를 얻어, 최고 성능 CLaude 3 Sonic의 88.7%에 근접했습니다.

그러나 가장 두드러진 것은 Grok 1.5V의 Real-World QA 벤치마크 성과입니다. 이 벤치마크는 모델의 기본적인 실세계 공간 이해 능력을 평가합니다. 이 분야에서 Grok 1.5V는 경쟁자들을 압도했습니다. 이는 Grok의 실세계 시나리오 해석 및 추론 능력, 예를 들어 물체의 상대적 크기 이해, 교통 상황 탐색, 공룡의 방향 식별 등을 보여줍니다.

OpenAI의 수년간의 노력에 비해 약 6개월 만에 개발된 Grok의 급속한 발전은 정말 놀랍습니다. 최근 엘론 머스크가 발표한 오픈소스 및 오픈웨이트 모델 공개는 Grok의 매력과 광범위한 채택 및 협업 가능성을 더욱 높일 것입니다.

Grok 1.5의 새로운 비전 기능을 통해 다이어그램과 워크플로우를 포함한 다양한 시각 정보를 처리할 수 있습니다. 한 예로, 사용자가 숫자 추측 게임의 단계를 간단히 그린 손으로 그린 다이어그램을 제공했습니다. Grok 1.5는 이 다이어그램을 분석하여 직접 작동하는 Python 코드로 변환할 수 있었습니다.

Grok 1.5가 생성한 코드는 추측 게임 워크플로우의 논리를 정확하게 나타냅니다. 여기에는 무작위 대상 번호 생성, 사용자 추측 읽기, 추측이 맞는지 여부에 따른 적절한 출력 인쇄 등이 포함됩니다. 이는 Grok 1.5의 시각 정보 이해 및 기능 코드 변환 능력이 뛰어나다는 것을 보여줍니다.

다이어그램에서 작동 코드로의 seamless 변환은 Grok 1.5의 멀티모달 기능의 힘을 보여줍니다. 자연어 이해와 새로운 시각 처리 기술을 결합하여 Grok 1.5는 더 다양한 실세계 과제와 문제를 해결할 수 있습니다. 이 기능은 애플리케이션 신속 프로토타이핑, 반복적인 코딩 작업 자동화, 비기술 이해관계자와의 협업 등에 특히 유용할 수 있습니다.

Grok 1.5의 비전 기능은 정말 놀랍습니다. 한 예로, 사용자가 간식 상자의 영양 정보 사진을 제공했고, Grok은 주어진 횟수의 칼로리를 정확하게 계산할 수 있었습니다.

사용자는 1회 제공량이 3조각이고 60칼로리인 경우, 5조각의 칼로리가 얼마인지 물었습니다. Grok은 5조각이 약 100칼로리라고 정확하게 판단했습니다. 이는 이미지에 제공된 정보를 이해하고 필요한 계산을 수행할 수 있음을 보여줍니다.

이는 Grok 1.5의 뛰어난 컴퓨터 비전 및 추론 능력을 보여줍니다. 이 모델은 이미지에서 관련 데이터를 인식하고 추출할 뿐만 아니라 논리적 사고를 적용하여 정확한 실세계 답변을 제공할 수 있습니다. 이러한 시각 이해 및 문제 해결 능력은 정말 인상적이며 Grok의 멀티모달 AI 분야에서의 급속한 발전을 보여줍니다.

Grok1.5의 시각적 기능 중 가장 인상적인 것 중 하나는 단순하고 투박한 그림을 바탕으로 매력적인 취침 시간 이야기를 생성할 수 있는 능력입니다. 바위 위에 서 있는 사람과 물에 있는 보트가 그려진 기본적인 스케치를 제시했을 때, Grok1.5는 용감한 소년 Timmy가 모험을 떠나 작은 종이 배를 만들어 아름다운 강을 탐험하는 매혹적인 이야기를 엮어냈습니다.

그림 속 시각 요소에 대한 모델의 이해와 서사 기술이 결합되어 단순한 삽화를 생생한 취침 시간 이야기로 구현해냈습니다. 이는 Grok1.5의 놀라운 멀티모달 기능을 보여줍니다. 시각 정보와 언어 생성 능력을 유창하게 통합하여 상상력 넘치고 매력적인 콘텐츠를 생성할 수 있습니다.

기본 그림을 흥미로운 이야기로 변환할 수 있는 능력은 아동의 창의성 및 스토리텔링 지원, 교육용 도구 및 대화형 경험 향상 등 다양한 활용 가능성을 지닙니다. Grok1.5의 이 작업 수행 능력은 시각 및 텍스트 이해를 유기적으로 결합하여 의미 있고 매력적인 출력을 생성할 수 있는 멀티모달 AI 분야의 중요한 진전을 보여줍니다.

전사에서 소개된 가장 인상적인 예 중 하나는 Grok1.5가 밈의 유머를 이해하고 설명할 수 있는 능력입니다. 이 밈은 구멍을 파는 사람들의 모습을 통해 스타트업과 대기업의 차이를 비교합니다.

왼쪽 "스타트업"에는 모두 함께 구멍을 파고 있지만, 오른쪽 "대기업"에는 한 명만 구멍을 파고 나머지는 구경하거나 다른 일을 하고 있습니다.

Grok1.5는 두 시나리오의 과장된 차이를 인식하고 그 이면의 유머를 설명할 수 있었습니다. 스타트업의 긴급성과 직접적인 참여, 대기업의 관료주의와 덜 손대는 접근 사이의 대조를 밈이 재치 있게 비꼬고 있다는 것을 이해했습니다.

이 예는 Grok1.5가 밈의 시각적 요소를 인식할 뿐만 아니라 전달되는 개념적 차이와 유머의 의도를 이해할 수 있는 인상적인 능력을 보여줍니다. 시각적 농담의 미묘한 의미와 맥락을 해석할 수 있는 이러한 수준의 이해는 멀티모달 AI 시스템 개발에 있어 중요한 이정표입니다.

Grok 1.5의 비전 기능은 이미지에서 데이터를 추출하는 기능까지 확장됩니다. 여기에는 테이블 데이터를 CSV 형식으로 변환하는 기능도 포함됩니다. 한 예에서 사용자는 단순히 테이