RAG (Retrieval Augmented Generation) é uma abordagem usada para melhorar os modelos de linguagem existentes, incorporando conhecimento externo. A ideia-chave por trás do RAG é combinar o poder dos modelos de linguagem com a capacidade de recuperar e aproveitar informações relevantes de fontes externas, como bases de conhecimento ou corpora de texto.

Os principais benefícios da abordagem RAG são:

1. Melhoria da Relevância: Ao recuperar e incorporar informações relevantes, o RAG pode fornecer respostas mais precisas e relevantes, especialmente para perguntas que exigem conhecimento específico.

2. Redução da Alucinação: O RAG demonstrou reduzir a tendência dos modelos de linguagem de gerar conteúdo alucinado ou factualmente incorreto, pois as respostas são fundamentadas nas informações recuperadas.

3. Versatilidade: Além da resposta a perguntas, o RAG pode ser aplicado a várias tarefas de PLN, como extração de informações, recomendação, análise de sentimento e sumarização.

4. Manuseio de Dados Privados: O RAG pode trabalhar com conjuntos de dados privados ou sensíveis, pois as informações são processadas e armazenadas localmente, sem a necessidade de compartilhar os dados com serviços externos.

O GraphRAG é um avanço significativo em relação aos sistemas RAG (Retrieval Augmented Generation) tradicionais. Veja como ele se diferencia:

1. Extração de Grafo de Conhecimento: Ao contrário da simples recuperação de texto, o GraphRAG combina extração de texto, análise de rede e prompting de modelos de linguagem para construir um grafo de conhecimento abrangente a partir dos dados de entrada. Isso permite uma compreensão mais profunda e holística do conteúdo.

2. Melhoria da Precisão e Relevância: Ao aproveitar o grafo de conhecimento, o GraphRAG pode fornecer respostas mais precisas e relevantes, especialmente para conjuntos de dados complexos ou especializados. A abordagem baseada em grafo ajuda a conectar peças de informação dispersas e sintetizar insights que superam as técnicas RAG básicas.

3. Compreensão Holística de Dados: O GraphRAG segue uma abordagem mais abrangente, melhorando a compreensão geral e a sumarização de grandes coleções de dados. Isso o torna uma escolha superior para aproveitar os modelos de linguagem em tarefas avançadas de análise de dados e resposta a perguntas.

4. Redução da Alucinação: O GraphRAG demonstrou reduzir as tendências dos modelos de linguagem de gerar conteúdo "alucinado" que não está fundamentado nas informações fornecidas. A abordagem baseada em grafo ajuda o modelo a aderir mais de perto às informações confiáveis no contexto.

5. Versatilidade: Além da resposta a perguntas, o GraphRAG pode ser aplicado a uma variedade de tarefas de processamento de linguagem natural, como extração de informações, recomendações, análise de sentimento e sumarização, tudo em um ambiente de armazenamento privado e local.

Para começar com o GraphRAG, siga estas etapas:

1. Instalar Pré-requisitos:

   • Certifique-se de ter o Python instalado em seu sistema.
   • Instale os pacotes necessários executando pip install graphrag no seu terminal ou prompt de comando.

2. Clonar o Repositório:

   • Abra o Visual Studio Code (ou seu IDE preferido) e crie uma nova pasta para o projeto.
   • No terminal, navegue até a pasta do projeto e execute git clone https://github.com/microsoft/graph-rag.git para clonar o repositório GraphRAG.

3. Configurar o Ambiente:

   • No terminal, navegue até o diretório graph-rag.
   • Exporte sua chave de API do OpenAI executando export GRAPHRAG_API_KEY=sua_chave_api_aqui.

4. Criar uma Pasta de Entrada:

   • No terminal, execute mkdir input para criar uma pasta de entrada para seus documentos.

5. Indexar os Documentos:

   • Coloque seus documentos (por exemplo, arquivos de texto, PDFs) na pasta input.
   • No terminal, execute python dm_rag_index.py para indexar os documentos.

6. Conversar com os Documentos:

   • No terminal, execute python dm_graph_rag.py --query "sua_consulta_aqui" --root_dir . --method global.
   • Substitua "sua_consulta_aqui" pela pergunta ou consulta que você deseja fazer sobre os documentos.

O GraphRAG agora usará o grafo de conhecimento que criou durante o processo de indexação para fornecer respostas relevantes e abrangentes às suas consultas, superando as técnicas tradicionais de geração aumentada por recuperação.

Para começar com o GraphRAG, você precisará seguir estas etapas:

1. Instalar Pré-requisitos:

   • Certifique-se de ter o Python instalado em seu sistema.
   • Instale o Pip executando o comando fornecido no seu prompt de comando.

2. Clonar o Repositório:

   • Abra o Visual Studio Code e crie uma nova janela.
   • Abra o terminal clicando no botão de alternância do painel.
   • No terminal, navegue até o ambiente bash e execute o comando pip install graphrag para instalar os pacotes necessários.

3. Configurar o Ambiente:

   • No terminal, digite cd graphrag para navegar até o repositório clonado.
   • Exporte sua chave de API do OpenAI executando o comando export GRAPHRAG_API_KEY=sua_chave_api_aqui.

4. Criar uma Pasta de Entrada:

   • No terminal, execute o comando mkdir input para criar uma pasta de entrada onde você colocará seus arquivos ou documentos.
   • Abra a pasta no VS Code clicando em "Arquivo" > "Abrir Pasta" e selecionando o repositório clonado.

5. Indexar o Documento:

   • Coloque seu documento (por exemplo, um relatório financeiro) na pasta de entrada.
   • No terminal, execute o comando python dm_rrag index para indexar o documento atual.
   • Isso criará um relatório de comunidade sobre o documento indexado, que você pode usar para conversar.

6. Configurar o Ambiente:

   • No arquivo env, você pode configurar a chave da API, o tipo de modelo e outras configurações.
   • Você pode especificar o uso de um modelo LLAMA ou a interface do OpenAI.
   • Salve as alterações no arquivo env.

7. Executar o Código:

   • No terminal, execute o comando python dm_rrag query --root_folder . --method global --query "sua_consulta_aqui" para iniciar a conversa com o documento indexado.

Seguindo estas etapas, você pode configurar o GraphRAG, indexar seus documentos e começar a usar os recursos de geração aumentada por recuperação para melhorar suas tarefas de processamento de linguagem natural.

Para conversar com o GraphRAG, siga estas etapas:

1. Depois de indexar o documento usando o comando python dm_rrag index, você pode iniciar a conversa executando o comando python dm_rrag query --root_folder . --method global "sua consulta aqui".

2. Substitua "sua consulta aqui" pela pergunta ou prompt que você deseja fazer ao GraphRAG sobre o documento indexado.

3. O GraphRAG então usará o grafo de conhecimento que criou durante o processo de indexação para fornecer uma resposta relevante e informativa, aproveitando o poder dos modelos de linguagem e as informações estruturadas no grafo de conhecimento.

4. Você pode continuar conversando com o GraphRAG executando o mesmo comando com diferentes consultas. O sistema usará o grafo de conhecimento existente para fornecer respostas adaptadas às suas perguntas.

5. Se você quiser mudar para um modelo de linguagem diferente, pode configurá-lo no arquivo .env especificando o LLM_TYPE e fornecendo o endpoint da API apropriado ou o caminho do modelo local.

6. A abordagem holística do GraphRAG para a geração aumentada por recuperação permite que ele supere as técnicas RAG básicas, especialmente para conjuntos de dados complexos ou privados, conectando peças de informação dispersas e fornecendo insights sintetizados.