Одной из ключевых проблем существующих систем RAG (Retrieval-Augmented Generation) является сложность в анализе данных из различных форматов, таких как PDF, HTML и CSV. Извлечение информации из PDF-файлов, в частности, может быть трудоемким процессом, который включает несколько этапов:

1. Запуск модели оптического распознавания символов (OCR) для извлечения текста из PDF.
2. Реализация модели обнаружения макета для понимания структуры документа.
3. Разбиение извлеченного текста на управляемые сегменты.
4. Встраивание этих фрагментов и хранение их в векторном хранилище.

Эта многоэтапная конвейерная система может привести к накоплению ошибок, что делает весь процесс неэффективным и подверженным ошибкам.

Для решения этих проблем статья ColPali предлагает более простой и эффективный подход. Вместо того, чтобы полагаться на извлечение и анализ текста, ColPali использует подход, основанный на компьютерном зрении. Он берет изображения страниц PDF и встраивает их, используя кодировщик на основе зрения, за которым следует модель зрения-языка (PolyGamma) для извлечения соответствующей информации.

Этот подход имеет несколько преимуществ:

1. Он устраняет необходимость в сложном анализе PDF и извлечении текста, поскольку модель напрямую работает с данными изображения.
2. Модель зрение-язык способна улавливать как локальные особенности (из отдельных фрагментов), так и глобальный контекст (через обработку трансформатора зрения и языковой модели), позволяя ей понимать сложные визуальные макеты, текст и изображения в документе.
3. Многовекторное представление каждой страницы, аналогичное подходу Colbert, позволяет модели улавливать более тонкие взаимосвязи между запросом и содержимым документа.

Результаты, представленные в статье, впечатляют, при этом ColPali превосходит существующие методы, включая подходы, основанные на ключевых словах (BM25) и плотные встроенные методы поиска (BGM3), с большим отрывом на вновь созданном наборе эталонных данных.

Кроме того, в статье отмечается важное наблюдение: в некоторых случаях традиционные подходы, основанные на ключевых словах (такие как BM25), могут быть такими же хорошими или даже лучше, чем подходы, основанные на плотных встроенных представлениях, для определенных приложений. Это подчеркивает важность включения как механизмов, основанных на ключевых словах, так и механизмов, основанных на встроенных представлениях, в надежную систему RAG.

В целом, подход ColPali представляет многообещающее решение проблем, с которыми сталкиваются существующие системы RAG, особенно в контексте работы со сложными, богатыми визуальными элементами документами.