L'un des principaux défis des systèmes RAG (Retrieval-Augmented Generation) existants est la difficulté à analyser les données provenant de différents formats, tels que les PDF, les HTML et les CSV. L'extraction d'informations à partir de fichiers PDF, en particulier, peut être un processus fastidieux impliquant plusieurs étapes :

1. Exécuter un modèle de reconnaissance optique de caractères (OCR) pour extraire le texte du PDF.
2. Mettre en œuvre un modèle de détection de la mise en page pour comprendre la structure du document.
3. Découper le texte extrait en segments gérables.
4. Intégrer ces segments et les stocker dans un espace vectoriel.

Cette pipeline en plusieurs étapes peut entraîner une accumulation d'erreurs, rendant le processus global inefficace et sujet aux erreurs.

Pour relever ces défis, l'article ColPali propose une approche plus simple et plus efficace. Au lieu de s'appuyer sur l'extraction et l'analyse de texte, ColPali utilise une approche basée sur la vision. Il prend les images des pages PDF et les intègre à l'aide d'un encodeur de vision, suivi d'un modèle de vision et de langage (PolyGamma) pour extraire les informations pertinentes.

Cette approche présente plusieurs avantages :

1. Elle élimine la nécessité d'une analyse complexe des PDF et d'une extraction de texte, car le modèle opère directement sur les données d'image.
2. Le modèle de vision et de langage est capable de capturer à la fois les caractéristiques locales (à partir de patchs individuels) et le contexte global (grâce au transformateur de vision et au traitement du modèle de langage), lui permettant de comprendre les mises en page visuelles complexes, le texte et les images au sein du document.
3. La représentation multi-vecteur de chaque page, similaire à l'approche Colbert, permet au modèle de capturer des relations plus nuancées entre la requête et le contenu du document.

Les résultats présentés dans l'article sont impressionnants, avec ColPali surpassant les méthodes existantes, y compris les approches basées sur les mots-clés (BM25) et la récupération basée sur les intégrations denses (BGM3), de manière significative sur un nouveau jeu de données de référence créé à cet effet.

De plus, l'article met en évidence une observation importante : dans certains cas, les approches traditionnelles basées sur les mots-clés (comme BM25) peuvent être aussi bonnes, voire meilleures, que la récupération basée sur les intégrations denses pour certaines applications. Cela souligne l'importance d'inclure à la fois des mécanismes basés sur les mots-clés et des mécanismes basés sur les intégrations dans un système RAG robuste.

Dans l'ensemble, l'approche ColPali présente une solution prometteuse aux défis auxquels sont confrontés les systèmes RAG existants, en particulier dans le contexte du travail avec des documents complexes et riches en éléments visuels.

L'article ColPali présente une nouvelle approche de la récupération de documents qui tire parti des modèles de langage de vision, offrant plusieurs avantages par rapport aux systèmes traditionnels de Retrieval-Augmented Generation (RAG). Les principaux points forts de cette approche sont :

1. Analyse simplifiée des PDF : Au lieu de s'appuyer sur des pipelines complexes impliquant l'OCR, la détection de la mise en page et le découpage, ColPali traite directement les images des pages PDF à l'aide d'un modèle de vision, éliminant ainsi le besoin de ces étapes de prétraitement.

2. Amélioration des performances de récupération : ColPali surpasse les méthodes existantes, y compris les approches basées sur les mots-clés comme BM25 et les approches basées sur les intégrations denses comme BGLM3, de manière significative sur un nouveau jeu de données de référence créé à cet effet.

3. Représentation multi-vecteur : Similaire à l'approche Colbert, ColPali utilise une représentation multi-vecteur pour chaque page de document, capturant à la fois le contexte local et global grâce aux composants du transformateur de vision et du modèle de langage.

4. Explicabilité : L'approche basée sur la vision de ColPali permet l'explicabilité, où le modèle peut mettre en évidence les patchs spécifiques du document les plus pertinents pour la requête d'entrée.

5. Indexation efficace : Bien que les performances en temps de requête soient légèrement plus lentes que la récupération basée sur les intégrations denses, le processus d'indexation pour ColPali est beaucoup plus efficace, ne prenant que 0,4 seconde par page contre 7,22 secondes pour l'approche traditionnelle basée sur l'OCR.

L'architecture de ColPali est basée sur le modèle PolyGamma 3 milliards de Google, qui est un modèle de langage de vision. Les principales étapes du processus sont :

1. Division de l'image d'entrée (page PDF) en une grille de patchs de 32x32.
2. Intégration de chaque patch à l'aide d'une projection linéaire et traitement par un transformateur de vision pour capturer les relations entre les patchs.
3. Alimentation des intégrations de patchs transformées dans le modèle de langage PolyGamma pour traiter davantage l'information visuelle et l'aligner avec les représentations textuelles.
4. Projection de la sortie du modèle de langage dans un vecteur de 128 dimensions pour chaque patch, donnant une représentation multi-vecteur de la page du document.
5. Effectuer la récupération en calculant la similarité entre les jetons de la requête et les patchs du document, en utilisant une approche de max-pooling similaire à Colbert.

L'article démontre l'efficacité de cette approche et fournit un modèle Hugging Face qui peut être facilement intégré dans les systèmes existants. Dans l'ensemble, ColPali présente une direction prometteuse pour une récupération de documents efficace et explicable, en particulier pour les documents riches en éléments visuels.

L'article ColPali propose une nouvelle approche de la récupération de documents à l'aide de modèles de langage de vision, qui surpasse les méthodes existantes de manière significative. Pour évaluer les performances de cette approche, les chercheurs ont créé un nouveau jeu de données de référence comprenant une variété de fichiers PDF de différents domaines.

Les principales conclusions du processus de référencement sont :

1. Surpasse les méthodes existantes : ColPali surpasse toutes les méthodes existantes, y compris les approches basées sur les mots-clés comme BM25 et les approches basées sur les intégrations denses comme BGLM3, de manière importante. Les résultats démontrent l'efficacité de l'approche de récupération basée sur la vision.

2. Avantages par rapport aux approches basées sur le texte : Les résultats du référencement montrent que les approches traditionnelles basées sur les mots-clés comme BM25 peuvent être aussi bonnes, voire meilleures, que la récupération basée sur les intégrations denses pour certaines applications. Cela souligne l'importance d'inclure à la fois des mécanismes basés sur les mots-clés et des mécanismes basés sur les intégrations dans un système de Retrieval Augmented Generation (RAG).

3. Processus d'indexation efficace : Par rapport à l'approche traditionnelle d'OCR, de détection de la mise en page et de découpage, le processus d'indexation pour ColPali est beaucoup plus efficace, ne prenant que 0,40 seconde par page, contre 7,22 secondes par page pour l'approche traditionnelle.

4. Performances en temps de requête : Bien que le processus d'indexation soit efficace, les performances en temps de requête de ColPali sont moins performantes, prenant environ 30 millisecondes par requête, contre 22 millisecondes pour la récupération basée sur les intégrations denses.

5. Explicabilité : L'un des principaux avantages de l'approche ColPali est sa capacité à fournir de l'explicabilité. Le transformateur de vision du modèle peut se concentrer sur des patchs spécifiques de l'image d'entrée, permettant à l'utilisateur de comprendre quelles parties du document sont les plus pertinentes pour la requête.

Dans l'ensemble, les résultats du référencement démontrent le potentiel significatif de l'approche ColPali pour une récupération de documents efficace et explicable, qui peut être un ajout précieux aux systèmes de Retrieval Augmented Generation (RAG).

ColPali, une nouvelle approche pour une récupération de documents efficace, utilise des modèles de langage de vision pour surmonter les défis auxquels sont confrontés les systèmes traditionnels de Retrieval-Augmented Generation (RAG). Les principaux aspects de l'architecture de ColPali sont les suivants :

1. Prétraitement des images : Le document d'entrée, généralement au format PDF, est d'abord traité en divisant chaque page en une grille de patchs de 32x32 de taille égale. Cette étape capture les caractéristiques locales du document.

2. Intégration des patchs : Chaque patch est ensuite intégré dans un espace vectoriel de plus haute dimension à l'aide d'une projection linéaire. Cette intégration initiale aide à capturer les caractéristiques brutes au niveau des pixels.

3. Transformateur de vision : Les intégrations de patchs sont ensuite traitées par un transformateur de vision, qui applique un mécanisme d'attention automatique pour capturer les relations entre les différentes parties de l'image. Cette étape permet au modèle de comprendre le contexte et la mise en page du document.

4. Intégration du modèle de langage : La sortie du transformateur de vision est ensuite transmise à un modèle de langage, dans ce cas le modèle PolyGamma 3 milliards de Google. Cette intégration permet au modèle d'aligner l'information visuelle avec la représentation textuelle, lui permettant de comprendre les mises en page visuelles complexes, le texte et les images au sein du document.

5. Représentation multi-vecteur : La sortie du modèle de langage est projetée dans un espace de plus faible dimension, donnant un ensemble de 1024 vecteurs d'intégration, chacun avec une dimension de 128 unités. Cette représentation multi-vecteur, similaire à l'approche utilisée dans Colbert, capture à la fois les caractéristiques locales et le contexte global.

6. Processus de récupération : Lorsqu'une requête est fournie, les jetons sont d'abord codés à l'aide du même modèle PolyGamma 3 milliards. Ensuite, une matrice de similarité est calculée entre les jetons de la requête et les intégrations de patchs de document. Une opération de max-pooling est effectuée pour identifier les patchs les plus pertinents pour chaque jeton de requête, et le score de similarité final est calculé en sommant les similarités max-poolées.

7. Résultats de la récupération : Le processus de récupération est effectué pour chaque page du document, et les pages les mieux classées sont renvoyées comme les plus pertinentes pour la requête. Ces pages peuvent ensuite être utilisées comme contexte pour un traitement ultérieur, comme la récupération de texte ou la génération multimodale.

Les principaux avantages de l'approche ColPali sont son efficacité dans le processus d'indexation, sa capacité à gérer des mises en page visuelles complexes sans s'appuyer sur des bibliothèques d'analyse spécialisées, et l'explicabilité qu'elle fournit grâce au mécanisme d'attention du transformateur de vision.

La clé de l'approche ColPali est la manière dont elle gère le processus de récupération. Au lieu de s'appuyer sur un seul vecteur d'intégration dense pour représenter chaque document, ColPali utilise une représentation multi-vecteur qui capture à la fois les caractéristiques locales et le contexte global.

Voici comment fonctionne le processus de récupération :

1. Codage de la requête : La requête d'entrée est d'abord tokenisée et chaque jeton est codé dans un vecteur de 128 dimensions à l'aide du même modèle PolyGamma.

2. Représentation du document : Pour chaque page du document, ColPali crée une représentation multi-vecteur. La page est divisée en une grille de patchs de 32x32, et chaque patch est codé dans un vecteur de 128 dimensions à l'aide du transformateur de vision et du modèle PolyGamma.

3. Calcul de la similarité : Une matrice de similarité est calculée entre les jetons de la requête et les patchs du document. Pour chaque jeton de requête, le score de similarité maximum sur tous les patchs est conservé, de manière similaire à l'approche d'interaction tardive utilisée dans Colbert.

4. Agrégation : Les scores de similarité max-poolés pour chaque jeton de requête sont sommés pour obtenir le score de similarité final entre la requête et le document. Ce processus est répété pour chaque page du document, permettant à ColPali de récupérer les pages les plus pertinentes.

L'avantage clé de cette approche est qu'elle peut gérer efficacement les mises en page visuelles complexes, le texte, les images et les tableaux au sein des documents sans s'appuyer sur aucun prétraitement préalable. Cela rend le processus de récupération plus robuste et précis par rapport aux approches traditionnelles.

En termes d'efficacité, le processus d'indexation pour ColPali est beaucoup plus rapide que la pipeline traditionnelle d'OCR, de détection de la mise en page et de découpage. Bien que le temps de traitement des requêtes soit légèrement plus lent, il reste dans une plage acceptable, prenant environ 30 millisecondes par requête.

Dans l'ensemble, l'approche ColPali présente une alternative prometteuse aux méthodes de récupération traditionnelles, offrant à la fois de meilleures performances et de l'explicabilité grâce à l'utilisation de modèles de langage de vision.

ColPali, le modèle de récupération de documents efficace utilisant des modèles de langage de vision, offre une opportunité passionnante d'explorer une nouvelle approche de la recherche d'informations. Voici comment vous pouvez vous familiariser avec ColP