Gemini 1.5 Proの驚くべき機能の秘密は、その長いコンテキストウィンドウにあります。これにより、膨大な量の情報を記憶することができます。つまり、本全体、コードベース、さらには映画まで読み取り、理解し、詳細な議論を行うことができるのです。

同僚の研究者たちは既にGemini 1.5 Proを驚くべき方法で使っています。例えば、トレーニングセットや回数の要約、録画された講義からの講義ノートの生成などです。このAIは個人の本棚の内容をすばやくカタログ化し、長い法的文書についても詳細な質問に答えることができます。

Gemini 1.5 Proに関する論文によると、10本の映画に相当する1,000万トークンまで処理でき、精度は99.7%に達するという驚異的な実績を持っています。これは、GPT-4 Turboでも達成できないものです。さらに、このモデルは絶滅危惧言語のカラマン語の学習と翻訳も実証しており、文化的知識の保存に貢献しています。

しかし、このモデルの驚くべき機能には大きな欠点もあります。トランスフォーマーアーキテクチャの計算量とメモリ複雑性が二次関数的に増大するのです。つまり、コンテキストウィンドウのサイズが大きくなるほど、処理時間が指数関数的に増加し、10本の映画クエリでは最大1.5時間かかる可能性があります。この制限はトランスフォーマーの設計に固有のものであり、実用展開の課題となっています。

Google DeepMindがGemini 1.5 Proをリリースしたことは、解決策が見つかるかもしれないことを示唆しています。しかし、現時点の技術では、モデルの驚くべい記憶能力と計算効率性のトレードオフが存在します。AIの分野が進化していく中で、研究者がこの課題にどのように取り組み、長文脈言語モデルの可能性を最大限に引き出していくのか、非常に興味深いことでしょう。