Retrievar informações relevantes de um conjunto diversificado de fontes, incluindo texto e imagens, pode melhorar significativamente a experiência do usuário e fornecer uma compreensão mais abrangente de um determinado tópico. Os sistemas tradicionais de Geração Aumentada por Recuperação (RAG) se concentraram principalmente em informações baseadas em texto, mas a inclusão de dados multimodais pode desbloquear novas possibilidades.

Ao incorporar informações textuais e visuais, os sistemas multimodais de RAG podem oferecer vários benefícios-chave:

1. Melhor Compreensão do Contexto: A combinação de texto e imagens pode fornecer um contexto mais rico, permitindo que o sistema compreenda melhor as nuances e os relacionamentos dentro dos dados.

2. Aprimoramento da Recuperação de Informações: A recuperação multimodal pode revelar informações relevantes que podem não ser facilmente acessíveis por meio de pesquisas apenas de texto, como dicas visuais, diagramas ou visualizações de dados.

3. Maior Envolvimento e Compreensão: A integração de texto e imagens pode tornar as informações mais atraentes e mais fáceis de entender, especialmente para tópicos complexos ou técnicos.

4. Aplicabilidade mais ampla: Os sistemas multimodais de RAG podem ser aplicados a uma gama mais ampla de domínios, da pesquisa científica à documentação de produtos, onde as informações visuais desempenham um papel crucial na transmissão de informações.

5. Adaptabilidade às preferências do usuário: Ao atender a diferentes estilos de aprendizagem e preferências, os sistemas multimodais de RAG podem fornecer uma experiência de recuperação de informações mais personalizada e eficaz.

A primeira abordagem que exploraremos para construir sistemas multimodais de RAC (Geração Aumentada por Recuperação) é incorporar todas as diferentes modalidades, como texto e imagens, em um único espaço vetorial. Isso nos permite aproveitar o poder de um modelo de incorporação unificado, como o CLIP (Pré-treinamento Contrastivo de Linguagem e Imagem), para criar incorporações que possam funcionar tanto em dados de texto quanto visuais.

As principais etapas nessa abordagem são:

1. Extrair Texto e Imagens: Começamos extraindo o texto e as imagens de nossos dados de entrada, como artigos da Wikipédia.
2. Criar Incorporações Unificadas: Usamos um modelo como o CLIP para criar incorporações que possam representar tanto o texto quanto as imagens em um espaço vetorial compartilhado.
3. Armazenar Incorporações em um Armazenamento Vetorial: Armazenamos essas incorporações unificadas em um armazenamento vetorial multimodal, como o Quadrant, que pode lidar com dados de texto e imagem.
4. Recuperar Trechos Relevantes: Quando uma consulta do usuário chega, criamos incorporações para a consulta e realizamos a recuperação no armazenamento vetorial unificado para obter os trechos de texto e as imagens mais relevantes.
5. Passar para o LLM Multimodal: Se o contexto recuperado incluir imagens, podemos passar os trechos de texto e as imagens por um modelo de linguagem multimodal para gerar a resposta final.

A segunda abordagem para construir sistemas multimodais de RAC envolve fundamentar todas as diferentes modalidades em uma modalidade primária, que neste caso é o texto. Essa abordagem visa unificar as várias fontes de dados, incluindo texto e imagens, em um único espaço vetorial baseado em texto para recuperação.

Aqui está como o processo funciona:

1. Extrair Texto e Imagens: Os dados de entrada, como artigos da Wikipédia, são processados para extrair tanto o texto quanto as imagens.
2. Criar Incorporações de Texto: Para os dados de texto, são criadas incorporações de texto padrão, como usando as incorporações de texto da OpenAI.
3. Gerar Descrições de Texto para Imagens: As imagens são passadas por um modelo multimodal, como o GPT-4 ou o Gemini Pro, para gerar descrições de texto das imagens. Essas descrições de texto são então usadas para criar incorporações de texto.
4. Unificar em um Armazenamento Vetorial de Texto: As incorporações de texto, sejam do texto original ou das descrições baseadas em imagem, são combinadas em um armazenamento vetorial de texto unificado.

Quando uma consulta do usuário chega, o processo de recuperação acontece nesse espaço vetorial de texto unificado. O contexto recuperado pode conter tanto texto quanto descrições baseadas em imagem. Se o conteúdo recuperado for apenas texto, ele pode ser passado diretamente por um modelo de linguagem para gerar respostas. No entanto, se o conteúdo recuperado incluir descrições baseadas em imagem, elas são passadas por um modelo multimodal para gerar as respostas finais.

A terceira abordagem para construir sistemas multimodais de RAC envolve o uso de armazenamentos vetoriais separados para diferentes modalidades. Essa abordagem permite um controle e uma otimização mais granulares do processo de recuperação para cada modalidade.

Aqui está como funciona:

1. Armazenamento Vetorial de Texto: Para os dados de texto, criamos incorporações de texto e as armazenamos em um armazenamento vetorial de texto dedicado.
2. Armazenamento Vetorial de Imagem: Para as imagens, usamos um modelo especializado (por exemplo, CLIP) para criar incorporações e armazená-las em um armazenamento vetorial de imagem separado.
3. Recuperação Dual: Quando uma consulta do usuário chega, realizamos a recuperação separadamente tanto no armazenamento vetorial de texto quanto no de imagem. Isso nos dá trechos relevantes do texto, bem como imagens relevantes.
4. Reordenação Multimodal: Como recuperamos trechos relevantes de texto e imagens, precisamos usar um modelo de reordenação multimodal para determinar a combinação mais relevante de trechos de texto e imagem para a consulta dada. Esse modelo de reordenação deve ser capaz de entender a importância e a relevância de ambas as modalidades.
5. Resposta Final: Após a reordenação dos trechos recuperados, podemos passar a combinação mais relevante de trechos de texto e imagem por um modelo de linguagem multimodal para gerar a resposta final.

Neste vídeo, exploramos três abordagens diferentes para construir sistemas multimodais de Geração Aumentada por Recuperação (RAG). O foco foi na primeira abordagem, onde incorporamos todas as diferentes modalidades (texto e imagens) em um único espaço vetorial usando um modelo CLIP.

Percorremos a implementação do código, onde:

1. Extraímos texto e imagens de artigos da Wikipédia.
2. Criamos incorporações de texto usando incorporações do GPT e incorporações de imagem usando o modelo CLIP.
3. Armazenamos as incorporações em um armazenamento vetorial multimodal usando a biblioteca Quadrant.
4. Realizamos a recuperação no armazenamento vetorial multimodal para obter os principais trechos de texto relevantes e as imagens para uma determinada consulta.

Embora essa abordagem seja relativamente simples, ela requer um modelo de incorporação multimodal capaz, como o CLIP, para capturar efetivamente a relação entre texto e imagens.

Nos próximos vídeos, exploraremos as outras duas abordagens, onde fundamentamos todas as modalidades em uma modalidade primária (texto) ou usamos armazenamentos vetoriais separados para diferentes modalidades. Essas abordagens oferecem diferentes compensações em termos de desempenho, preservação de nuances e complexidade.

Além disso, mergulharemos na parte de geração do sistema multimodal de RAG, onde usaremos os trechos de texto e imagem recuperados para gerar a resposta final usando um modelo de linguagem multimodal.