現有 RAG（檢索增強生成）系統的一個關鍵挑戰是從各種格式（如 PDF、HTML 和 CSV）解析數據的困難。特別是從 PDF 文件中提取信息是一個繁瑣的過程,涉及多個步驟:

1. 運行光學字符識別（OCR）模型從 PDF 中提取文本。
2. 實施佈局檢測模型以理解文檔的結構。
3. 將提取的文本分塊成可管理的片段。
4. 對這些片段進行嵌入並將其存儲在向量存儲中。

這種多步驟的管道可能會導致錯誤的累積,使整個過程效率低下且容易出錯。

為了解決這些挑戰,ColPali 論文提出了一種更簡單有效的方法。它不依賴於文本提取和解析,而是採用基於視覺的方法。它獲取 PDF 頁面的圖像,並使用視覺編碼器對其進行嵌入,然後使用視覺語言模型（PolyGamma）提取相關信息。

這種方法有幾個優點:

1. 它消除了複雜的 PDF 解析和文本提取的需求,因為模型直接在圖像數據上操作。
2. 視覺語言模型能夠捕捉局部特徵（來自單個圖塊）和全局上下文（通過視覺變換器和語言模型處理),使其能夠理解文檔中複雜的視覺佈局、文本和圖像。
3. 類似於 Colbert 方法的多向量表示,使模型能夠捕捉查詢和文檔內容之間更細微的關係。

論文中呈現的結果令人印象深刻,ColPali 在新創建的基準數據集上明顯優於現有方法,包括基於關鍵字的方法（BM25）和基於密集嵌入的檢索（BGM3）。

此外,論文還提出了一個重要的觀察:在某些情況下,傳統的基於關鍵字的方法（如 BM25）可能與或甚至優於基於密集嵌入的檢索。這突出了在強大的 RAG 系統中包含基於關鍵字和基於嵌入的機制的重要性。

總的來說,ColPali 方法提出了一種有前景的解決方案,用於解決現有 RAG 系統面臨的挑戰,特別是在處理複雜、視覺豐富的文檔方面。

ColPali 論文提出了一種利用視覺語言模型進行文檔檢索的新穎方法,相比傳統的檢索增強生成（RAG）系統提供了幾個優點。這種方法的關鍵亮點包括:

1. 簡化的 PDF 解析: 與依賴於涉及 OCR、佈局檢測和分塊的複雜管道不同,ColPali 直接使用視覺模型處理 PDF 頁面的圖像,消除了這些預處理步驟的需求。

2. 改善的檢索性能: ColPali 在為此目的創建的新基準數據集上明顯優於現有方法,包括基於關鍵字的方法（如 BM25）和基於密集嵌入的方法（如 BGLM3）。

3. 多向量表示: 類似於 Colbert 方法,ColPali 使用每個文檔頁面的多向量表示,通過視覺變換器和語言模型組件捕捉局部和全局上下文。

4. 可解釋性: ColPali 的基於視覺的方法允許可解釋性,模型可以突出顯示與輸入查詢最相關的文檔部分。

5. 高效的索引: 雖然查詢時間性能略慢於基於密集嵌入的檢索,但 ColPali 的索引過程要高效得多,每頁只需 0.4 秒,而傳統的 OCR 方法需要 7.22 秒。

ColPali 的架構基於 Google 的 PolyGamma 30 億模型,這是一個視覺語言模型。該過程的關鍵步驟如下:

1. 將輸入圖像（PDF 頁面）劃分為 32x32 個圖塊網格。
2. 使用線性投影對每個圖塊進行嵌入,並通過視覺變換器處理以捕捉圖塊之間的關係。
3. 將轉換後的圖塊嵌入輸入到 PolyGamma 語言模型中,進一步處理視覺信息並將其與文本表示對齊。
4. 將語言模型的輸出投影到 128 維向量中,為每個頁面創建多向量表示。
5. 通過計算查詢標記與文檔圖塊之間的相似性,並使用類似於 Colbert 的最大池化方法進行檢索。

論文展示了這種方法的有效性,並提供了一個可輕鬆集成到現有系統中的 Hugging Face 模型。總的來說,ColPali 為高效和可解釋的文檔檢索提供了一個有前景的方向,特別適用於視覺豐富的文檔。

ColPali 論文提出了一種使用視覺語言模型進行文檔檢索的新方法,在性能上明顯優於現有方法。為了評估這種方法的性能,研究人員創建了一個新的基準數據集,包括來自不同領域的各種 PDF 文件。

基準測試過程的關鍵發現如下:

1. 優於現有方法: ColPali 在所有現有方法中都有出色的表現,包括基於關鍵字的方法（如 BM25）和基於密集嵌入的方法（如 BGLM3），其結果有很大幅度的提升。這些結果證明了基於視覺的檢索方法的有效性。

2. 優於基於文本的方法: 基準測試結果表明,傳統的基於關鍵字的方法（如 BM25）在某些應用中可能與或甚至優於基於密集嵌入的檢索。這突出了在檢索增強生成（RAG）系統中包含基於關鍵字和基於嵌入的機制的重要性。

3. 高效的索引過程: 與傳統的 OCR、佈局檢測和分塊方法相比,ColPali 的索引過程要高效得多,每頁只需 0.40 秒,而傳統方法需要 7.22 秒。

4. 查詢時間性能: 雖然索引過程很高效,但 ColPali 的查詢時間性能略差,每次查詢需要約 30 毫秒,而基於密集嵌入的檢索只需 22 毫秒。

5. 可解釋性: ColPali 方法的一個關鍵優勢是其可解釋性。模型中的視覺變換器可以關注輸入圖像的特定圖塊,使用戶能夠理解哪些部分的文檔與查詢最相關。

總的來說,基準測試結果展示了 ColPali 方法在高效和可解釋的文檔檢索方面的巨大潛力,這可以成為檢索增強生成（RAG）系統的有價值補充。

ColPali 是一種用於高效文檔檢索的新穎方法,利用視覺語言模型來克服傳統檢索增強生成（RAG）系統面臨的挑戰。ColPali 架構的關鍵方面如下:

1. 圖像預處理: 輸入文檔通常為 PDF 格式,首先被分割為 32x32 個等大小的圖塊網格。這一步捕捉了文檔的局部特徵。

2. 圖塊嵌入: 每個圖塊都使用線性投影嵌入到更高維的向量空間。這種初始嵌入有助於捕捉原始像素級特徵。

3. 視覺變換器: 圖塊嵌入然後被處理by視覺變換器,應用自注意機制捕捉不同部分之間的關係。這一步使模型能夠理解文檔的上下文和佈局。

4. 語言模型集成: 視覺變換器的輸出被輸入到語言模型（在本例中為 Google 的 PolyGamma 30 億模型）。這種集成使模型能夠將視覺信息與文本表示對齊,從而理解文檔中複雜的視覺佈局、文本和圖像。

5. 多向量表示: 語言模型的輸出被投影到較低維度的空間,產生一組 1024 個 128 維的嵌入向量。這種多向量表示,類似於 Colbert 中使用的方法,捕捉了局部特徵和全局上下文。

6. 檢索過程: 當提供查詢時,查詢標記首先使用相同的 PolyGamma 30 億模型進行編碼。然後計算查詢標記與文檔圖塊嵌入之間的相似性矩陣。執行最大池化操作以識別每個查詢標記最相關的圖塊,並通過求和最大池化相似性來計算最終相似度分數。

7. 檢索結果: 對文檔中的每個頁面執行檢索過程,並返回最相關的頂部頁面。這些頁面可用作進一步處理（如文本檢索或多模態生成）的上下文。

ColPali 方法的關鍵優勢在於其高效的索引過程、處理複雜視覺佈局而無需依賴專門的解析庫,以及通過視覺變換器的注意機制提供的可解釋性。

ColPali 方法的關鍵在於它處理檢索過程的方式。它不依賴於單一的密集嵌入向量來表示每個文檔,而是使用捕捉局部特徵和全局上下文的多向量表示。

以下是檢索過程的工作原理:

1. 查詢編碼: 輸入查詢首先被分詞,每個標記使用相同的 PolyGamma 模型編碼為 128 維向量。

2. 文檔表示: 對於文檔中的每個頁面,ColPali 創建一個多向量表示。該頁面被劃分為 32x32 個圖塊網格,每個圖塊使用視覺變換器和 PolyGamma 模型編碼為 128 維向量。

3. 相似性計算: 計算查詢標記與文檔圖塊之間的相似性矩陣。對於每個查詢標記,保留所有圖塊中最大的相似性分數,類似於 Colbert 中使用的後期交互方法。

4. 聚合: 每個查詢標記的最大池化相似性分數被求和以獲得查詢與文檔之間的最終相似度分數。這個過程對文檔中的每個頁面重複進行,使 ColPali 能夠檢索最相關的頁面。

這種方法的關鍵優勢在於,它可以有效地處理文檔中複雜的視覺佈局、文本、圖像和表格,而無需依賴任何先前的預處理。這使得檢索過程更加健壯和準確,與傳統方法相比。

在效率方面,ColPali 的索引過程要比傳統的 OCR、佈局檢測和分塊管道快得多。雖然查詢處理時間略慢,但仍在可接受範圍內,每次查詢約需 30 毫秒。

總的來說,ColPali 方法提供了一種有前景的替代傳統檢索方法,通過使用視覺語言模型提供了更好的性能和可解釋性。

使用視覺語言模型的高效文檔檢索模型 ColPali 為探索一種新穎的信息檢索方法提供了一個令人興奮的機會。以下是您可以親自嘗試 ColPali 並自己試用的步驟:

1. 訪問 Hugging Face 模型: ColPali 模型可在 Hugging Face 平台上獲得,這使其易於實驗。您可以在以下鏈接找到該模型: Hugging Face 上的 ColPali。

2. 使用提供的 Colab 筆記本: Vispa 博客創建了一個有用的 Google Co