现有的 RAG（检索增强生成）系统面临的一个关键挑战是从各种格式（如 PDF、HTML 和 CSV）解析数据的困难。特别是从 PDF 文件中提取信息是一个繁琐的过程,需要几个步骤:

1. 运行光学字符识别 (OCR) 模型从 PDF 中提取文本。
2. 实现布局检测模型以理解文档的结构。
3. 将提取的文本分块成可管理的片段。
4. 对这些片段进行嵌入并将其存储在向量存储中。

这种多步骤的管道可能会导致错误的积累,使整个过程效率低下且容易出错。

为了解决这些挑战,ColPali 论文提出了一种更简单有效的方法。它不依赖于文本提取和解析,而是采用基于视觉的方法。它获取 PDF 页面的图像,并使用视觉编码器对其进行嵌入,然后使用视觉语言模型 (PolyGamma) 提取相关信息。

这种方法有几个优点:

1. 它消除了复杂的 PDF 解析和文本提取的需求,因为模型直接在图像数据上操作。
2. 视觉语言模型能够捕捉局部特征(来自单个补丁)和全局上下文(通过视觉变换器和语言模型处理),使其能够理解文档中复杂的视觉布局、文本和图像。
3. 类似于 Colbert 方法的多向量表示,使模型能够捕捉查询和文档内容之间更细微的关系。

论文中提出的结果令人印象深刻,ColPali 在一个新创建的基准数据集上明显优于现有方法,包括基于关键字的方法(BM25)和基于密集嵌入的检索(BGM3)。

此外,论文还提出了一个重要的观察:在某些情况下,传统的基于关键字的方法(如 BM25)可能与或甚至优于基于密集嵌入的检索。这突出了在强大的 RAG 系统中包含基于关键字和基于嵌入的机制的重要性。

总的来说,ColPali 方法提出了一种有前景的解决方案,用于解决现有 RAG 系统面临的挑战,特别是在处理复杂的、视觉丰富的文档方面。

ColPali 论文提出了一种利用视觉语言模型进行文档检索的新方法,相比传统的检索增强生成(RAG)系统,它提供了几个优势:

1. 简化的 PDF 解析: 与依赖于 OCR、布局检测和分块的复杂管道不同,ColPali 直接使用 PDF 页面的图像,通过视觉模型进行处理,消除了这些预处理步骤的需求。

2. 改善的检索性能: ColPali 在一个新创建的基准数据集上明显优于现有方法,包括基于关键字的方法(如 BM25)和基于密集嵌入的方法(如 BGLM3)。

3. 多向量表示: 类似于 Colbert 方法,ColPali 为每个文档页面使用多向量表示,通过视觉变换器和语言模型组件捕捉局部和全局上下文。

4. 可解释性: ColPali 的基于视觉的方法允许提供可解释性,模型可以突出显示与输入查询最相关的文档部分。

5. 高效的索引: 虽然查询时间性能略慢于基于密集嵌入的检索,但 ColPali 的索引过程要高效得多,每页只需 0.4 秒,而传统的 OCR 方法需要 7.22 秒。

ColPali 的架构基于 Google 的 PolyGamma 30 亿模型,这是一个视觉语言模型。其关键步骤如下:

1. 将输入图像(PDF 页面)划分为 32x32 个补丁。
2. 使用线性投影对每个补丁进行嵌入,并通过视觉变换器处理以捕捉补丁之间的关系。
3. 将转换后的补丁嵌入输入到 PolyGamma 语言模型中,进一步处理视觉信息并将其与文本表示对齐。
4. 将语言模型的输出投影到 128 维向量中,为每个页面创建多向量表示。
5. 使用类似于 Colbert 的最大池化方法,计算查询标记与文档补丁之间的相似性来执行检索。

论文展示了这种方法的有效性,并提供了一个可以轻松集成到现有系统中的 Hugging Face 模型。总的来说,ColPali 为高效和可解释的文档检索提供了一个有前景的方向,特别适用于视觉丰富的文档。

ColPali 论文提出了一种使用视觉语言模型进行文档检索的新方法,在性能上明显优于现有方法。为了评估这种方法的性能,研究人员创建了一个新的基准数据集,包括来自不同领域的各种 PDF 文件。

基准测试过程的关键发现如下:

1. 优于现有方法: ColPali 在所有现有方法中表现最佳,包括基于关键字的方法(如 BM25)和基于密集嵌入的方法(如 BGLM3),结果显示了基于视觉的检索方法的有效性。

2. 优于基于文本的方法: 基准测试结果表明,传统的基于关键字的方法(如 BM25)在某些应用中可能与或甚至优于基于密集嵌入的检索。这突出了在检索增强生成(RAG)系统中包含基于关键字和基于嵌入的机制的重要性。

3. 高效的索引过程: 与传统的 OCR、布局检测和分块方法相比,ColPali 的索引过程要高效得多,每页只需 0.40 秒,而传统方法需要 7.22 秒。

4. 查询时间性能: 虽然索引过程很高效,但 ColPali 的查询时间性能略差,每个查询需要约 30 毫秒,而基于密集嵌入的检索只需 22 毫秒。

5. 可解释性: ColPali 方法的一个关键优势是它提供了可解释性。模型中的视觉变换器可以关注输入图像的特定补丁,使用户能够理解哪些部分的文档与查询最相关。

总的来说,基准测试结果展示了 ColPali 方法在高效和可解释文档检索方面的巨大潜力,这可以成为检索增强生成(RAG)系统的有价值补充。

ColPali 是一种利用视觉语言模型进行高效文档检索的新方法,它克服了传统检索增强生成(RAG)系统面临的挑战。ColPali 的架构主要包括以下关键方面:

1. 图像预处理: 输入文档(通常为 PDF 格式)首先被划分为 32x32 个等大小的补丁,以捕捉文档的局部特征。

2. 补丁嵌入: 每个补丁都使用线性投影嵌入到更高维的向量空间,以捕捉原始像素级特征。

3. 视觉变换器: 补丁嵌入然后被处理by视觉变换器,应用自注意机制捕捉不同部分之间的关系,以理解文档的上下文和布局。

4. 语言模型集成: 视觉变换器的输出被输入到语言模型(在本例中为 Google 的 PolyGamma 30 亿模型)中,以将视觉信息与文本表示对齐,理解文档中复杂的视觉布局、文本和图像。

5. 多向量表示: 语言模型的输出被投影到较低维度空间,生成 1024 个 128 维的嵌入向量。这种多向量表示(类似于 Colbert 方法)捕捉局部特征和全局上下文。

6. 检索过程: 当提供查询时,查询标记首先使用相同的 PolyGamma 30 亿模型进行编码。然后计算查询标记与文档补丁嵌入之间的相似性矩阵。执行最大池化操作以识别每个查询标记最相关的补丁,并通过求和最大池化相似性来计算最终相似度分数。

7. 检索结果: 对文档中的每个页面执行检索过程,并返回最相关的顶部页面。这些页面可用作进一步处理(如文本检索或多模态生成)的上下文。

ColPali 方法的关键优势包括索引过程的高效性、处理复杂视觉布局而无需依赖专门的解析库,以及视觉变换器注意力机制提供的可解释性。

ColPali 方法的关键在于它处理检索过程的方式。它不依赖于单一的密集嵌入向量来表示每个文档,而是使用捕捉局部特征和全局上下文的多向量表示。

检索过程如下所示:

1. 查询编码: 输入查询首先被分词,每个标记使用相同的 PolyGamma 模型编码为 128 维向量。

2. 文档表示: 对于文档中的每个页面,ColPali 创建一个多向量表示。页面被划分为 32x32 个补丁,每个补丁使用视觉变换器和 PolyGamma 模型编码为 128 维向量。

3. 相似性计算: 计算查询标记和文档补丁之间的相似性矩阵。对于每个查询标记,保留所有补丁中最大的相似性分数,类似于 Colbert 中使用的后期交互方法。

4. 聚合: 每个查询标记的最大池化相似性分数相加,得到查询和文档之间的最终相似度分数。这个过程对文档中的每个页面重复进行,使 ColPali 能够检索最相关的页面。

这种方法的关键优势在于,它可以有效地处理文档中复杂的视觉布局、文本、图像和表格,而无需依赖任何预处理。这使得检索过程更加稳健和准确,相比传统方法更为出色。

在效率方面,ColPali 的索引过程比传统的 OCR、布局检测和分块管道快得多。虽然查询处理时间略慢,但仍在可接受范围内,每个查询约需 30 毫秒。

总的来说,ColPali 方法提供了一种有前景的替代传统检索方法,通过使用视觉语言模型提供了更好的性能和可解释性。

使用视觉语言模型的高效文档检索模型 ColPali 为探索一种全新的信息检索方法提供了一个令人兴奋的机会。以下是您可以亲自尝试 ColPali 的步骤:

1. 访问 Hugging Face 模型: ColPali 模型可在 Hugging Face 平台上获得,方便进行实验。您可以在以下链接找到该模型: ColPali on Hugging Face。

2. 使用提供的 Colab 笔记本: Vispa 博客创建了一个有用的 Google Colab 笔记本,演示了如何使用 ColPali 模型。您可以访问该笔记本: ColPali Colab Notebook。这个笔记本将指导您如何索引自己的文档并执行检索任务。

3. 上传您自己的文档: Colab 笔记本允许您上传自己的 PDF 文档并使用 ColPali 模型对其进行索引。这将创建文档页面的多向量表示,从而实现高效的检索。

4. 运行示例查询: 文档索引完成后,您可以尝试示例查询并观察检索结果。笔记本提供了一个示例查询,您可以尝试自己的查询,观察模型的表现。

5. 探索可解释性: ColPali 的一个关键优势是它提供了检索过程的可解释性。笔记本演示了模型如何突出显示与查询最相关的文档补