Elon Musk's team が開発したAIモデル「Grok 1.5」の最新バージョンは、新しい視覚処理機能を導入しました。テキスト処理能力に加えて、Grokは文書、図表、チャート、スクリーンショット、写真など、さまざまな視覚情報を処理できるようになりました。

Grokが新機能を次々と公開しているのは本当に驚くべきことです。特に、OpenAIなどの著名なAIモデルに比べると、Grokはまだ若いプロジェクトです。間もなく早期テスターや既存のGrok利用者に提供される予定のGrok 1.5Vは、複合的な推論、文書理解、科学図表、チャート、スクリーンショット、写真などの分野で、主要な複合モーダルモデルに匹敵するとされています。

Grok 1.5Vの最も興味深い側面の1つは、「Real World QA」ベンチマークでの性能です。このベンチマークは、モデルの空間理解力と現実世界での推論能力を測るものです。Grokはこのベンチマークで同業他社を上回ると報告されており、様々なデータセットでSOTA(最先端)レベルのモデルを生み出す可能性があります。

文字起こしで示された例では、Grokの多様性が発揮されています。手書きの図を Python コードに変換したり、栄養成分表から摂取カロリーを計算したり、簡単な絵から就寝物語を生成したり、ミームの背景にある笑いを説明したり、表の画像をCSVファイルに変換したり、スクリーンショットから課題を解いたりと、さまざまな用途に対応しています。これらの事例は、Grokが現実世界を理解し、活用する能力の高さを示しており、実用的なAIアシスタントの開発に大きな影響を与える可能性があります。

Real World QAベンチマークの導入は、Grokチームが現実世界の理解を深めることに重点を置いていることを示しています。これは実用的なAIアプリケーションを作るために不可欠です。テスラが保有する膨大な現実世界データ(空間情報やテキスト情報など)の活用が、Grokが同業他社を凌駕する鍵となる可能性があります。

全体として、Grok 1.5Vの視覚処理機能のプレビューは、複合モーダルAIの急速な進歩を示しています。Grokが今後さらに進化し、オープンソースやオープンウェイトになれば、他の主要モデルとの比較や、革新的な現実世界アプリケーションの開発に大きな影響を与えるでしょう。

Elon Muskのチームが開発したAIモデル「Grok 1.5V」は、文書、図表、チャート、スクリーンショット、写真など、さまざまな視覚情報を処理する能力を示しています。特に、複合的な推論と現実世界の理解に優れています。

事前トレーニングなしで、Grok 1.5Vは複数のベンチマークで同業他社を上回っています。複合的な推論タスクでは、Grok 1.5Vが53.6%、GPT-4Vが56.8%、トップのCLaude 3 Opusが59.4%でした。

Grokの強みは、数学に特化したVista ベンチマークでも発揮されており、52.8%の得点で首位に立っています。また、図表理解を評価するAI 2Dベンチマークでは、88.3%の得点で、トップのCLaude 3 Sonicの88.7%に迫る成績を収めています。

しかし、Grok 1.5Vの真の優位性は、現実世界の空間理解力を評価するReal-World QAベンチマークにおいて発揮されています。ここでGrok 1.5Vは同業他社を大きく引き離し、物体の相対的な大きさの理解、交通状況の把握、恐竜の向きの識別など、現実世界のシナリオを的確に解釈し、推論する能力を示しています。

OpenAIの長年の取り組みと比べ、わずか6ヶ月ほどの開発期間でこのような進歩を遂げたGrokは本当に驚くべきです。Elon Muskが最近発表したオープンソースやオープンウェイトの方針は、Grokの魅力と普及の可能性をさらに高めるでしょう。

Grok 1.5の新しい視覚処理機能により、図表やワークフローなどの視覚情報を処理できるようになりました。ある例では、ユーザーが数当てゲームのステップを示す簡単な手書きの図を提供すると、Grok 1.5はその図を分析し、直接動作するPythonコードに変換することができます。

Grok 1.5が生成したコードは、ランダムな目標数値の生成、ユーザーの入力の読み取り、正解/不正解の出力表示など、ゲームのロジックを正確に表現しています。これは、Grok 1.5の視覚情報理解と、それを機能コードに変換する能力の高さを示しています。

ダイアグラムから即座にコードを生成する機能は、Grok 1.5の複合モーダル機能の威力を示しています。自然言語理解と新しい視覚処理スキルを組み合わせることで、Grok 1.5はより幅広い現実世界のタスクや問題に取り組めるようになりました。このような機能は、アプリケーションのプロトタイピング、反復的なコーディング作業の自動化、非技術的なステークホルダーとの共同作業などに特に有用です。

Grok 1.5の視覚処理機能は本当に驚くべきものです。ある例では、ユーザーがスナックの栄養成分表の写真を提供すると、Grokは正確に一定量のカロリーを計算することができます。

ユーザーが1食分が3枚で60カロリーの場合、5枚分のカロリーを尋ねると、Grokは正しく100カロリーと答えています。これは、画像の情報を理解し、必要な計算を行う Grokの高度なコンピュータービジョンと推論力を示しています。

この事例は、Grok 1.5の画像認識と論理的思考の能力の高さを示しています。モデルは関連データを認識・抽出するだけでなく、論理的な思考を適用して正確な現実世界の答えを提供することができます。このような視覚理解と問題解決力の高さは本当に印象的で、Grokの複合モーダルAIの分野における急速な進歩を示しています。

Grok 1.5の視覚処理機能の中でも最も印象的なのは、単純な粗い絵から魅力的な就寝物語を生成する能力です。岩の上に立つ人物と水中のボートが描かれた基本的なスケッチを提示すると、Grok 1.5は勇敢な少年ティミーの冒険物語を紡ぎ出しました。

この絵の視覚要素を理解し、物語作成能力を発揮することで、Grok 1.5は完成度の高い一貫性のある就寝物語を生み出しました。これは、Grok 1.5の驚くべき複合モーダル機能を示しています。視覚情報と言語生成能力を流暢に統合し、想像力豊かで魅力的なコンテンツを生み出すことができるのです。

基本的な絵から物語を生み出す能力には、子供の創造性や物語作りの支援、教育ツールや対話型エクスペリエンスの強化など、多くの可能性があります。Grok 1.5のこのタスクでの実績は、視覚情報と文章理解を組み合わせて意味のある魅力的な出力を生み出す複合モーダルAIの進歩を示しています。

文字起こしで紹介された最も印象的な例の1つは、Grok 1.5がミームの背景にある笑いを理解し、説明する能力です。このミームは、スタートアップと大企業の違いを、人々が穴を掘る様子を視覚的に比喩しています。

左側の「スタートアップ」では、多くの人々が一緒に積極的に穴を掘っているのに対し、右側の「大企業」では1人しか穴を掘っておらず、他の人々は見守ったり別の作業をしているという違いが描かれています。

Grok 1.5は、この2つのシナリオの誇張された違いを認識し、その背景にある笑いを説明することができました。スタートアップの緊急性と直接的な関与、大企業の官僚主義と手動作業の少なさという対比を理解し、ミームの皮肉を捉えたのです。

この例は、Grok 1.5が単なる視覚要素の認識だけでなく、視覚的なジョークの含意や文脈を理解する高度な能力を持っていることを示しています。このようなAIが視覚的なユーモアの意味を解釈できるようになったことは、複合モーダルAIシステムの大きな進歩を示しています。

Grok 1.5の視覚処理機能は、画像からデータを抽出する機能にも及びます。表形式のデータをCSVファイルに変換する能力もその1つです。ある例では、ユーザーが表の画像をアップロードすると、Grokがそのデータを正確にCSVファイルに変換することができました。

この機能は、物理的な文書やスプレッドシートをデジタル化する際に特に便利です。手動で再入力する必要がなく、スクリーンショットを撮るだけでGrokが変換してくれます。大規模または複雑な表を扱う場合、この機能は時間と労力を大幅に節約できます。

事前のプロンプトなしで、つまり0ショット設定でこのタスクを実行できることは、Grokの視覚情報理解力と構造化データ抽出能力の高さを示しています。この機能は、データ入力・分析、文書管理・整理など、さまざまな現実世界のシナリオで非常に有用です。

Grok 1.5の新しい視覚処理機能は、物理世界を理解し、活用する能力の高さを示しています。一連の事例を通して、この複合モーダルAIモデルが、手書きの図をコードに変換したり、画像を分析して解決策を提示したりと、幅広い現実世界のタスクに取り組める様子がわかります。

特に注目すべきは、Grokの図表、チャート、スクリーンショットなどの視覚情報処理能力です。モデルは簡単な手書きのワークフロー図を分析し、対応するPythonコードを生成することができました。概念的な表現から具体的な実装へのブリッジングを実現しています。

さらに、Grokは物理的な物体や空間関係の理解と推論にも優れています。栄養成分表からカロリーを計算したり、子供の絵から就寝物語を生成したり、スタートアップと大企業を比較するミームの笑いを説明したりと、状況に応じた高度な理解力と問題解決力を発揮しています。

Real-World QAベンチマークの導入は特に興味深いです。これは複合モーダルモデルの空間理解力を評価するものです。交通状況の理解や物体の相対的な大きさの判断など、Grokが現実世界を処理し推論する能力は、自動運転車やロボティクスなどの応用に大きな影響を与える可能性があります。

全体として、Grok 1.5の視覚処理機能は、テキストと視覚情報を統合的に理解するAIシステムの大きな前進を示しています。モデルがさらに進化し、オープン化されれば、その空間認識力と問題解決力を活かした革新的なアプリケーションの開発が期待できるでしょう。

Real-World QAベンチマークの導入は、実用的な現実世界のAIアシスタントの開発に向けた重要な一歩です。このベンチマークは、Grok 1.5などの複合モーダルモデルの基本的な現実世界の空間理解力を評価するものです。

このベンチマークには700以上の画像が用意されており、それぞれに質問とすぐに確認できる答えが設定されています