Một trong những thách thức chính của các hệ thống RAG (Retrieval-Augmented Generation) hiện có là khó khăn trong việc phân tích dữ liệu từ các định dạng khác nhau, chẳng hạn như PDF, HTML và CSV. Trích xuất thông tin từ các tệp PDF, đặc biệt, có thể là một quá trình rườm rà bao gồm nhiều bước:

1. Chạy một mô hình Nhận dạng Ký tự Quang học (OCR) để trích xuất văn bản từ PDF.
2. Triển khai một mô hình phát hiện bố cục để hiểu cấu trúc của tài liệu.
3. Chia văn bản đã trích xuất thành các phân đoạn quản lý được.
4. Nhúng các phân đoạn này và lưu trữ chúng trong một vector store.

Pipeline nhiều bước này có thể dẫn đến sự tích lũy của các lỗi, khiến cho quá trình tổng thể trở nên kém hiệu quả và dễ mắc lỗi.

Để giải quyết những thách thức này, bài báo ColPali đề xuất một cách tiếp cận đơn giản và hiệu quả hơn. Thay vì dựa vào trích xuất và phân tích văn bản, ColPali sử dụng một cách tiếp cận dựa trên thị giác. Nó lấy các hình ảnh của các trang PDF và nhúng chúng bằng cách sử dụng một bộ mã hóa thị giác, tiếp theo là một mô hình thị giác-ngôn ngữ (PolyGamma) để trích xuất thông tin liên quan.

Cách tiếp cận này có một số lợi ích:

1. Nó loại bỏ nhu cầu phân tích PDF phức tạp và trích xuất văn bản, vì mô hình trực tiếp hoạt động trên dữ liệu hình ảnh.
2. Mô hình thị giác-ngôn ngữ có thể nắm bắt cả các đặc điểm cục bộ (từ các mảnh riêng lẻ) và ngữ cảnh toàn cục (thông qua bộ biến đổi thị giác và xử lý mô hình ngôn ngữ), cho phép nó hiểu các bố cục trực quan phức tạp, văn bản và hình ảnh trong tài liệu.
3. Biểu diễn đa vector của mỗi trang, tương tự như cách tiếp cận Colbert, cho phép mô hình nắm bắt được các mối quan hệ tinh tế hơn giữa truy vấn và nội dung tài liệu.

Kết quả được trình bày trong bài báo rất ấn tượng, với ColPali vượt trội so với các phương pháp hiện có, bao gồm cả các phương pháp dựa trên từ khóa (BM25) và thu hồi dựa trên nhúng dày đặc (BGM3), với một khoảng cách đáng kể trên một tập dữ liệu chuẩn mới được tạo ra.

Ngoài ra, bài báo cũng nhấn mạnh một quan sát quan trọng: trong một số trường hợp, các phương pháp dựa trên từ khóa truyền thống (như BM25) có thể tốt bằng hoặc thậm chí tốt hơn so với thu hồi dựa trên nhúng dày đặc đối với một số ứng dụng cụ thể. Điều này nhấn mạnh tầm quan trọng của việc bao gồm cả cơ chế dựa trên từ khóa và dựa trên nhúng trong một hệ thống RAG mạnh mẽ.

Nói chung, cách tiếp cận ColPali trình bày một giải pháp đầy hứa hẹn để giải quyết các thách thức mà các hệ thống RAG hiện có phải đối mặt, đặc biệt là trong bối cảnh làm việc với các tài liệu phức tạp, phong phú về mặt trực quan.

Bài báo ColPali trình bày một phương pháp tiếp cận mới đối với thu hồi tài liệu bằng cách sử dụng các mô hình ngôn ngữ thị giác, mang lại nhiều lợi ích so với các hệ thống Retrieval-Augmented Generation (RAG) truyền thống. Những điểm nổi bật chính của phương pháp này là:

1. Đơn giản hóa Phân tích PDF: Thay vì dựa vào các pipeline phức tạp bao gồm OCR, phát hiện bố cục và chia nhỏ, ColPali trực tiếp xử lý các hình ảnh của các trang PDF bằng cách sử dụng một mô hình thị giác, loại bỏ nhu cầu phải thực hiện các bước tiền xử lý này.

2. Cải thiện Hiệu suất Thu hồi: ColPali vượt trội so với các phương pháp hiện có, bao gồm cả các phương pháp dựa trên từ khóa như BM25 và các phương pháp dựa trên nhúng dày đặc như BGLM3, với một khoảng cách đáng kể trên một tập dữ liệu chuẩn mới được tạo ra cho mục đích này.

3. Biểu diễn Đa Vector: Tương tự như cách tiếp cận Colbert, ColPali sử dụng một biểu diễn đa vector cho mỗi trang tài liệu, nắm bắt cả ngữ cảnh cục bộ và toàn cục thông qua các thành phần bộ biến đổi thị giác và mô hình ngôn ngữ.

4. Khả năng Giải thích: Cách tiếp cận dựa trên thị giác của ColPali cho phép giải thích, nơi mô hình có thể nhấn mạnh các mảnh cụ thể của tài liệu liên quan nhất đến truy vấn đầu vào.

5. Lập chỉ mục Hiệu quả: Trong khi hiệu suất xử lý truy vấn hơi chậm hơn so với thu hồi dựa trên nhúng dày đặc, quá trình lập chỉ mục cho ColPali lại hiệu quả hơn nhiều, chỉ mất 0,4 giây mỗi trang so với 7,22 giây cho cách tiếp cận dựa trên OCR truyền thống.

Kiến trúc ColPali dựa trên mô hình PolyGamma 3 tỷ của Google, đây là một mô hình ngôn ngữ thị giác. Các bước chính trong quá trình là:

1. Chia hình ảnh đầu vào (trang PDF) thành một lưới các mảnh 32x32.
2. Nhúng mỗi mảnh bằng cách sử dụng một chiếu tuyến tính và xử lý nó thông qua một bộ biến đổi thị giác để nắm bắt các mối quan hệ giữa các mảnh.
3. Đưa các nhúng mảnh đã được biến đổi vào mô hình ngôn ngữ PolyGamma để tiếp tục xử lý thông tin trực quan và liên kết nó với các biểu diễn văn bản.
4. Chiếu đầu ra của mô hình ngôn ngữ vào không gian 128 chiều cho mỗi mảnh, tạo ra một biểu diễn đa vector của trang tài liệu.
5. Thực hiện thu hồi bằng cách tính độ tương tự giữa các token truy vấn và các mảnh tài liệu, sử dụng một phương pháp max-pooling tương tự như Colbert.

Bài báo chứng minh tính hiệu quả của phương pháp này và cung cấp một mô hình Hugging Face có thể dễ dàng tích hợp vào các hệ thống hiện có. Nhìn chung, ColPali trình bày một hướng đi đầy hứa hẹn cho việc thu hồi tài liệu hiệu quả và có thể giải thích, đặc biệt là đối với các tài liệu phong phú về mặt trực quan.

Bài báo ColPali đề xuất một phương pháp tiếp cận mới đối với thu hồi tài liệu bằng cách sử dụng các mô hình ngôn ngữ thị giác, vượt trội so với các phương pháp hiện có một cách đáng kể. Để đánh giá hiệu suất của phương pháp này, các nhà nghiên cứu đã tạo ra một tập dữ liệu chuẩn mới bao gồm các tệp PDF từ nhiều lĩnh vực khác nhau.

Các phát hiện chính từ quá trình đánh giá chuẩn là:

1. Vượt trội so với Các Phương pháp Hiện có: ColPali vượt trội so với tất cả các phương pháp hiện có, bao gồm cả các phương pháp dựa trên từ khóa như BM25 và các phương pháp dựa trên nhúng dày đặc như BGLM3, với một khoảng cách lớn. Kết quả này chứng minh tính hiệu quả của phương pháp thu hồi dựa trên thị giác.

2. Lợi ích so với Các Phương pháp Dựa trên Văn bản: Kết quả đánh giá chuẩn cho thấy các phương pháp dựa trên từ khóa truyền thống như BM25 có thể tốt bằng hoặc thậm chí tốt hơn so với thu hồi dựa trên nhúng dày đặc đối với một số ứng dụng cụ thể. Điều này nhấn mạnh tầm quan trọng của việc bao gồm cả cơ chế dựa trên từ khóa và dựa trên nhúng trong một hệ thống Retrieval Augmented Generation (RAG).

3. Quá trình Lập chỉ mục Hiệu quả: So với cách tiếp cận truyền thống của OCR, phát hiện bố cục và chia nhỏ, quá trình lập chỉ mục cho ColPali hiệu quả hơn nhiều, chỉ mất 0,40 giây mỗi trang, so với 7,22 giây mỗi trang đối với cách tiếp cận truyền thống.

4. Hiệu suất Xử lý Truy vấn: Trong khi quá trình lập chỉ mục hiệu quả, hiệu suất xử lý truy vấn của ColPali kém hơn, mất khoảng 30 mili giây mỗi truy vấn, so với 22 mili giây đối với thu hồi dựa trên nhúng dày đặc.

5. Khả năng Giải thích: Một trong những lợi ích chính của phương pháp ColPali là khả năng cung cấp giải thích. Bộ biến đổi thị giác trong mô hình có thể tập trung vào các mảnh cụ thể của hình ảnh đầu vào, cho phép người dùng hiểu được những phần nào của tài liệu liên quan nhất đến truy vấn.

Nói chung, kết quả đánh giá chuẩn cho thấy tiềm năng đáng kể của phương pháp ColPali đối với việc thu hồi tài liệu hiệu quả và có thể giải thích, có thể là một bổ sung có giá trị cho các hệ thống Retrieval Augmented Generation (RAG).

ColPali, một phương pháp tiếp cận mới để thu hồi tài liệu hiệu quả, sử dụng các mô hình ngôn ngữ thị giác để vượt qua những thách thức mà các hệ thống Retrieval-Augmented Generation (RAG) truyền thống phải đối mặt. Các khía cạnh chính của kiến trúc ColPali như sau:

1. Tiền xử lý Hình ảnh: Tài liệu đầu vào, thường ở định dạng PDF, trước tiên được xử lý bằng cách chia mỗi trang thành một lưới các mảnh 32x32 cùng kích thước. Bước này nắm bắt các đặc điểm cục bộ của tài liệu.

2. Nhúng Mảnh: Mỗi mảnh sau đó được nhúng vào không gian vector có chiều cao hơn bằng cách sử dụng một chiếu tuyến tính. Bước nhúng ban đầu này giúp nắm bắt các đặc điểm cấp pixel thô.

3. Bộ Biến đổi Thị giác: Các nhúng mảnh sau đó được xử lý bởi một Bộ Biến đổi Thị giác, áp dụng một cơ chế tự chú ý để nắm bắt các m