既存のRAG(Retrieval-Augmented Generation)システムの主な課題の1つは、PDFやHTML、CSVなどさまざまな形式のデータを解析することの難しさです。特にPDFファイルから情報を抽出するプロセスは煩雑で、以下の複数のステップが必要になります:

1. OCR(光学文字認識)モデルを使ってPDFからテキストを抽出する。
2. レイアウト検出モデルを実装して文書の構造を理解する。
3. 抽出したテキストを管理しやすい部分に分割する。
4. これらの部分を埋め込んでベクトルストアに保存する。

このマルチステップのパイプラインでは、エラーが蓄積されやすく、全体のプロセスが非効率で誤りが生じやすくなります。

これらの課題に対処するため、ColPaliペーパーは、よりシンプルで効果的なアプローチを提案しています。テキスト抽出やパースに頼るのではなく、ビジョンベースのアプローチを採用しています。PDFページの画像を取り、ビジョンエンコーダーで埋め込み、ビジョン言語モデル(PolyGamma)を使って関連情報を抽出するのです。

このアプローチには以下のような利点があります:

1. 複雑なPDFパースやテキスト抽出の必要がなくなる。モデルが画像データを直接処理するため。
2. ビジョン言語モデルは、個々のパッチからの局所的な特徴と、ビジョントランスフォーマーと言語モデル処理による全体的なコンテキストの両方を捉えることができる。これにより、文書内の複雑なビジュアルレイアウト、テキスト、画像を理解できる。
3. Colbertアプローチと同様の複数ベクトル表現により、クエリと文書コンテンツの微妙な関係性をモデルが捉えられる。

論文で示された結果は印象的で、ColPaliは既存の手法、キーワードベースのアプローチ(BM25)や密埋め込みベースの検索(BGM3)を大きく上回るパフォーマンスを示しています。

さらに、論文では重要な観察結果が示されています。特定のアプリケーションでは、従来のキーワードベースのアプローチ(BM25など)が、密埋め込みベースの検索と同等かそれ以上の性能を発揮する場合があるということです。これは、ロバストなRAGシステムには、キーワードベースと埋め込みベースの両方のメカニズムを含めることが重要であることを示しています。

全体として、ColPaliアプローチは、特に複雑でビジュアル豊かな文書を扱う際の、既存のRAGシステムが直面する課題に対する有望な解決策を提示しています。