No PeerDB, nosso foco é construir a melhor solução do mundo para replicar dados do Postgres para data warehouses, filas e armazenamento. Adotamos uma abordagem de arquitetura peer-to-peer, o que nos permite otimizar profundamente o conector entre o Postgres e o sistema de destino.

Alguns dos principais desafios técnicos que resolvemos incluem:

1. Snapshot Paralelo: Para cargas de dados iniciais, particionamos grandes tabelas do Postgres com base em identificadores internos e transmitimos os dados em paralelo para o destino. Isso nos permite mover terabytes de dados em horas, em vez de dias.

2. CDC Otimizado: Para replicação incremental, aproveitamos os slots de replicação lógica do Postgres para capturar as alterações. Em seguida, aplicamos várias otimizações, como conversão AO e compressão zstd, para alcançar latências inferiores a um minuto, superando muito as ferramentas existentes.

3. Suporte Nativo a Tipos de Dados: Garantimos que os ricos tipos de dados do Postgres, como dados geoespaciais, sejam replicados perfeitamente para o destino em seu formato nativo, evitando a necessidade de transformações onerosas.

Em escala, os clientes enfrentaram vários problemas com as ferramentas existentes de movimentação de dados ao replicar dados do PostgreSQL para data warehouses:

1. Desempenho e Confiabilidade: Mover grandes volumes de dados, como terabytes de dados ou gerenciar uma frota de bancos de dados PostgreSQL, era muito lento e pouco confiável. As cargas iniciais e a sincronização contínua muitas vezes levavam vários dias e quebravam no meio, exigindo intervenção manual.

2. Suporte a Recursos: As ferramentas existentes não suportavam nativamente muitos dos ricos tipos de dados e recursos disponíveis no PostgreSQL, como tipos de dados geoespaciais, colunas JSON e particionamento. Isso forçava os clientes a realizar transformações adicionais, adicionando complexidade e sobrecarga.

3. Custo: Os modelos de preços das ferramentas existentes, muitas vezes baseados no volume de dados transferidos ou no número de linhas, resultavam em custos altos e imprevisíveis para os clientes que executavam cargas de trabalho em larga escala do PostgreSQL.

Esses desafios levaram os clientes a recorrer à construção de soluções internas usando ferramentas de código aberto como o Debezium, que, embora funcionais em escala, exigiam um esforço e recursos de engenharia significativos para implementar e manter.

O PeerDB é projetado para fornecer uma solução robusta e de alto desempenho para replicar dados do PostgreSQL para data warehouses, filas e armazenamento. Algumas das principais características e vantagens técnicas do PeerDB incluem:

1. Snapshot Paralelo: O PeerDB utiliza uma técnica única de snapshot paralelo para mover terabytes de dados do PostgreSQL para o destino em questão de horas, em vez de dias, como visto com outras ferramentas de ETL genéricas.

2. Replicação Incremental com Baixa Latência: O PeerDB aproveita os slots de replicação lógica do PostgreSQL para alcançar replicação de dados incremental com latências inferiores a 1 minuto, muito mais rápido do que o mínimo de 5 minutos de latência das ferramentas existentes.

3. Suporte Nativo a Tipos de Dados: O PeerDB garante que os ricos tipos de dados no PostgreSQL, como dados geoespaciais, sejam preservados e replicados em seu formato nativo para o destino, evitando a necessidade de transformações onerosas.

4. Otimizações de Desempenho: O PeerDB emprega várias técnicas de otimização de desempenho, incluindo a conversão de dados para o formato Append-Optimized (AO) para o Snowflake e a utilização da compressão zstd, que pode fornecer até 30% de melhoria de desempenho.

O código aberto foi uma escolha natural para o PeerDB, dadas as experiências da equipe e o fato de que eles estão construindo uma ferramenta de movimentação de dados para o PostgreSQL, que é totalmente de código aberto. Os benefícios que eles viram ao abrir o código do PeerDB incluem:

1. Validação: O PeerDB tem várias cargas de trabalho em produção em larga escala usando a versão de código aberto, o que valida que há uma necessidade real por seu produto.

2. Visibilidade: A atividade de código aberto, estrelas e engajamento da comunidade ajudam a aumentar a visibilidade do PeerDB.

3. Confiança: Oferecer uma versão de código aberto cria confiança com os clientes, pois eles podem inspecionar o código e ver que o PeerDB não está vinculado a software proprietário.

Como fundador, Sai aprendeu várias lições valiosas sobre gerenciar uma equipe e determinar o foco do produto. Ele enfatiza que ser um fundador envolve usar muitos chapéus e aprender habilidades diversas, desde produto até vendas, marketing e relações com investidores. Esse conjunto diversificado de responsabilidades é uma mudança significativa em relação a seus papéis anteriores na Microsoft e na Citus Data.

Sai conta com uma rede de mentores e defensores para orientá-lo pelos desafios de fundar uma startup. Ele se apoia na expertise de seus investidores, cofundador e outros com quem trabalhou no passado. Esse sistema de suporte o ajuda a navegar pela incerteza de se sua experiência atual terá sucesso.

A estratégia central que Sai e sua equipe adotaram é manter um foco laser em seu experimento atual - fornecer a melhor solução do mundo para replicar dados do Postgres para data warehouses, filas e armazenamento. Eles veem isso como um experimento crítico que determinará a direção da empresa nos próximos 6 meses a 1 ano.

Em 2024, o PeerDB visa fornecer a melhor experiência do mundo para replicar dados do PostgreSQL para data warehouses, filas e armazenamento. As principais áreas de foco são:

1. Desempenho: O PeerDB será de alto nível em desempenho, permitindo que os clientes movam terabytes de dados de forma rápida e confiável.

2. Simplicidade: O PeerDB será extremamente simples de usar, com foco em fornecer uma ótima experiência do usuário.

3. Custo-Efetividade: O PeerDB será custo-efetivo e oferecerá preços transparentes, diferentemente das ferramentas existentes que podem ser caras e de difícil previsão.

Em um alto nível, o PB torna rápido e simples replicar dados do Postgres para data warehouses, filas e armazenamento. Os principais desafios técnicos que o PB resolveu incluem:

1. Snapshot Paralelo: O PB particiona grandes tabelas do Postgres com base em identificadores internos e transmite os dados em paralelo para o destino, permitindo que terabytes de dados sejam movidos em horas, em vez de dias.

2. Replicação Incremental Otimizada: O PB aproveita os slots de replicação lógica do Postgres e realiza otimizações como conversão AO e compressão zstd para alcançar latência sub-minuto para a captura de alterações de dados.

3. Suporte Nativo a Tipos de Dados: O PB garante que os ricos tipos de dados no Postgres, como dados geoespaciais, sejam preservados e convertidos para os formatos nativos apropriados nos sistemas de destino.