기존 RAG(Retrieval-Augmented Generation) 시스템의 주요 과제 중 하나는 PDF, HTML, CSV 등 다양한 형식의 데이터를 구문 분석하는 것의 어려움입니다. 특히 PDF 파일에서 정보를 추출하는 과정은 다음과 같은 여러 단계를 거쳐야 하는 번거로운 과정입니다:

1. OCR(광학 문자 인식) 모델을 실행하여 PDF에서 텍스트를 추출합니다.
2. 레이아웃 감지 모델을 구현하여 문서의 구조를 이해합니다.
3. 추출된 텍스트를 관리 가능한 세그먼트로 분할합니다.
4. 이 세그먼트를 임베딩하고 벡터 저장소에 저장합니다.

이러한 다단계 파이프라인은 오류가 누적되어 전체 프로세스가 비효율적이고 오류 prone해질 수 있습니다.

ColPali 논문은 이러한 과제를 해결하기 위해 더 간단하고 효과적인 접근 방식을 제안합니다. 텍스트 추출 및 구문 분석에 의존하는 대신 ColPali는 비전 기반 접근 방식을 사용합니다. PDF 페이지의 이미지를 가져와 비전 인코더로 임베딩한 다음 비전-언어 모델(PolyGamma)을 사용하여 관련 정보를 추출합니다.

ColPali 논문은 비전 언어 모델을 활용한 문서 검색 방식을 제안하며, 기존 RAG(Retrieval-Augmented Generation) 시스템보다 여러 가지 장점을 제공합니다. 이 접근 방식의 주요 특징은 다음과 같습니다:

1. 간소화된 PDF 구문 분석: OCR, 레이아웃 감지, 청크 분할과 같은 복잡한 파이프라인에 의존하는 대신 ColPali는 PDF 페이지의 이미지를 직접 처리하여 이러한 전처리 단계를 제거합니다.

2. 향상된 검색 성능: ColPali는 BM25와 같은 키워드 기반 접근 방식과 BGLM3와 같은 밀집 임베딩 기반 접근 방식을 크게 능가하는 성능을 보여줍니다.

3. 다중 벡터 표현: Colbert 접근 방식과 유사하게 ColPali는 각 문서 페이지에 대해 다중 벡터 표현을 사용하여 비전 트랜스포머와 언어 모델 구성 요소를 통해 지역적 및 전역적 맥락을 모두 포착합니다.

4. 설명 가능성: ColPali의 비전 기반 접근 방식은 모델이 쿼리와 가장 관련된 문서 패치를 강조할 수 있어 설명 가능성을 제공합니다.

5. 효율적인 인덱싱: 쿼리 시간 성능은 약간 느리지만 인덱싱 프로세스는 훨씬 더 효율적이며, 페이지당 0.4초만 소요됩니다.

ColPali 벤치마킹 결과에 따르면 이 접근 방식이 기존 방법들을 크게 능가하는 것으로 나타났습니다. 주요 결과는 다음과 같습니다:

1. 기존 방법 능가: ColPali는 BM25와 같은 키워드 기반 접근 방식과 BGLM3와 같은 밀집 임베딩 기반 접근 방식을 크게 능가합니다. 이는 비전 기반 검색 접근 방식의 효과성을 보여줍니다.

2. 텍스트 기반 접근 방식의 장점: 벤치마킹 결과에 따르면 BM25와 같은 전통적인 키워드 기반 접근 방식이 특정 애플리케이션에서는 밀집 임베딩 기반 검색만큼 좋거나 더 나을 수 있습니다. 이는 RAG 시스템에 키워드 기반 및 임베딩 기반 메커니즘을 모두 포함하는 것이 중요함을 강조합니다.

3. 효율적인 인덱싱 프로세스: OCR, 레이아웃 감지, 청크 분할의 전통적인 접근 방식과 비교하여 ColPali의 인덱싱 프로세스는 훨씬 더 효율적이며, 페이지당 0.40초만 소요됩니다.

4. 쿼리 시간 성능: 인덱싱 프로세스는 효율적이지만 ColPali의 쿼리 시간 성능은 약간 느리며, 쿼리당 약 30밀리초가 소요됩니다.

ColPali의 핵심은 검색 프로세스를 처리하는 방식입니다. 단일 밀집 임베딩 벡터로 각 문서를 나타내는 대신 ColPali는 지역적 특징과 전역적 맥락을 모두 포착하는 다중 벡터 표현을 사용합니다.

검색 프로세스는 다음과 같이 작동합니다:

1. 쿼리 인코딩: 입력 쿼리를 토큰화하고 각 토큰을 PolyGamma 모델을 사용하여 128차원 벡터로 인코딩합니다.

2. 문서 표현: 문서의 각 페이지에 대해 ColPali는 다중 벡터 표현을 생성합니다. 페이지를 32x32 패치 격자로 나누고 각 패치를 비전 트랜스포머와 PolyGamma 모델을 사용하여 128차원 벡터로 인코딩합니다.

3. 유사도 계산: 쿼리 토큰과 문서 패치 간의 유사도 행렬을 계산합니다. 각 쿼리 토큰에 대해 모든 패치에서 최대 유사도 점수를 유지합니다.

4. 집계: 각 쿼리 토큰에 대한 최대 풀링 유사도 점수를 합하여 쿼리와 문서 간의 최종 유사도 점수를 얻습니다. 이 프로세스는 문서의 각 페이지에 대해 반복되어 가장 관련성 높은 페이지를 검색합니다.

ColPali 모델을 직접 사용해보고 경험해볼 수 있는 방법은 다음과 같습니다:

1. Hugging Face 모델 액세스: ColPali 모델은 Hugging Face 플랫폼에서 제공되므로 실험을 위해 쉽게 접근할 수 있습니다. ColPali on Hugging Face에서 모델을 찾을 수 있습니다.

2. 제공된 Colab 노트북 사용: Vispa 블로그에서 ColPali 모델 사용 방법을 보여주는 Google Colab 노트북을 제공합니다. ColPali Colab Notebook에서 이 노트북에 액세스할 수 있습니다.

3. 자신의 문서 업로드: Colab 노트북을 통해 자신의 PDF 문서를 업로드하고 ColPali 모델을 사용하여 인덱싱할 수 있습니다.

4. 샘플 쿼리 실행: 문서가 인덱싱되면 샘플 쿼리를 실행하고 검색 결과를 관찰할 수 있습니다.

5. 설명 가능성 탐색: ColPali의 주요 장점 중 하나는 검색 프로세스에 대한 설명 가능성입니다. 노트북에서는 모델이 쿼리와 가장 관련된 문서 패치를 강조하는 방식을 보여줍니다.

ColPali 접근 방식은 기존 RAG 시스템이 직면한 과제를 해결하는 유망한 솔루션을 제시합니다. 문서 검색을 위한 비전 모델 활용을 통해 다음과 같은 주요 장점을 제공합니다:

1. 효율적인 인덱싱: ColPali의 인덱싱 프로세스는 OCR, 레이아웃 감지, 청크 분할과 같은 전통적인 접근 방식에 비해 훨씬 더 효율적입니다. 이를 통해 대규모 문서 코퍼스에 더 적합한 솔루션이 됩니다.

2. 향상된 검색 성능: ColPali는 키워드 기반 접근 방식과 밀집 임베딩 기반 검색을 크게 능가합니다. 비전-언어 모델 사용과 문서 페이지의 다중 벡터 표현이 이러한 성능 향상에 기여합니다.

3. 설명 가능성: 비전-언어 모델의 주의 메커니즘은 설명 가능성을 제공하여 사용자가 쿼리와 가장 관련된 문서 부분을 이해할 수 있습니다.

전반적으로 ColPali 접근 방식은 문서 검색 분야에서 매우 흥미로운 발전을 나타내며, 미래의 RAG 시스템에 큰 영향을 미칠 수 있는 잠재력을 가지고 있습니다.