En PeerDB, nuestro enfoque se centra en construir la mejor solución del mundo para replicar datos de Postgres a almacenes de datos, colas y almacenamiento. Adoptamos un enfoque de arquitectura peer-to-peer, lo que nos permite optimizar profundamente el conector entre Postgres y el sistema de destino.

Algunos de los principales desafíos técnicos que hemos resuelto incluyen:

1. Instantánea en paralelo: Para las cargas de datos iniciales, particionamos las grandes tablas de Postgres en función de identificadores internos y transmitimos los datos en paralelo al destino. Esto nos permite mover terabytes de datos en horas en lugar de días.

2. CDC optimizado: Para la replicación incremental, aprovechamos las ranuras de replicación lógica de Postgres para capturar los cambios. Luego aplicamos varias optimizaciones como la conversión de AO y la compresión zstd para lograr latencias inferiores a un minuto, superando con creces las herramientas existentes.

3. Soporte nativo de tipos de datos: Nos aseguramos de que los ricos tipos de datos de Postgres, como los geoespaciales, se repliquen sin problemas al destino en su formato nativo, evitando la necesidad de transformaciones costosas.

Nuestro enfoque de código abierto ha sido invaluable, brindando visibilidad, validación y confianza con nuestros usuarios. Si bien una parte de nuestros usuarios opta por la versión de código abierto, la mayoría prefiere nuestro servicio administrado, que ofrece soporte de nivel empresarial y funciones adicionales.

A escala, los clientes enfrentaron varios problemas con las herramientas de movimiento de datos existentes al replicar datos de PostgreSQL a almacenes de datos:

1. Rendimiento y confiabilidad: Mover grandes volúmenes de datos, como terabytes de datos o administrar una flota de bases de datos de PostgreSQL, era muy lento e poco confiable. Las cargas iniciales y la sincronización continua a menudo tardaban varios días y se interrumpían, lo que requería intervención manual.

2. Soporte de funciones: Las herramientas existentes no admitían nativamente muchos de los ricos tipos de datos y funciones disponibles en PostgreSQL, como los tipos de datos geoespaciales, las columnas JSON y el particionamiento. Esto obligaba a los clientes a realizar transformaciones adicionales, lo que agregaba complejidad y sobrecarga.

3. Costo: Los modelos de precios de las herramientas existentes, a menudo basados en el volumen de datos transferidos o el número de filas, dieron como resultado costos altos e impredecibles para los clientes que ejecutaban cargas de trabajo de PostgreSQL a gran escala.

Estos desafíos llevaron a los clientes a recurrir a la construcción de soluciones internas utilizando herramientas de código abierto como Debezium, que, si bien funcionales a escala, requerían un importante esfuerzo y recursos de ingeniería para implementar y mantener.

PeerDB está diseñado para proporcionar una solución robusta y de alto rendimiento para replicar datos de PostgreSQL a almacenes de datos, colas y almacenamiento. Algunas de las principales características y ventajas técnicas de PeerDB incluyen:

1. Instantánea en paralelo: PeerDB utiliza una técnica única de instantánea en paralelo para mover terabytes de datos de PostgreSQL al destino en cuestión de horas, en lugar de días, como se ve con otras herramientas de ETL generalizadas.

2. Replicación incremental con baja latencia: PeerDB aprovecha las ranuras de replicación lógica de PostgreSQL para lograr la replicación de datos incremental con latencias de menos de 1 minuto, significativamente más rápido que los 5 minutos de latencia mínima de las herramientas existentes.

3. Soporte nativo de tipos de datos: PeerDB se asegura de que los ricos tipos de datos en PostgreSQL, como los datos geoespaciales, se conserven y repliquen en su formato nativo en el destino, evitando la necesidad de transformaciones costosas.

4. Optimizaciones de rendimiento: PeerDB emplea varias técnicas de mejora del rendimiento, incluida la conversión de datos al formato Append-Optimized (AO) para Snowflake y la utilización de la compresión zstd, que puede proporcionar hasta un 30% de mejora en el rendimiento.

El código abierto fue una obviedad para PeerDB, dadas las trayectorias del equipo y el hecho de que están construyendo una herramienta de movimiento de datos para PostgreSQL, que es de código abierto. Los beneficios que han visto al abrir el código fuente de PeerDB incluyen:

1. Validación: PeerDB tiene varias cargas de trabajo de producción a gran escala que utilizan la versión de código abierto, lo que valida que existe una necesidad real para su producto.

2. Visibilidad: La actividad de código abierto, las estrellas y el compromiso de la comunidad ayudan a aumentar la visibilidad de PeerDB.

3. Confianza: Ofrecer una versión de código abierto genera confianza con los clientes, ya que pueden inspeccionar el código y ver que PeerDB no está atado a software propietario.

Como fundador, Sai ha aprendido valiosas lecciones sobre cómo dirigir un equipo y determinar el enfoque del producto. Enfatiza que ser fundador implica usar muchos sombreros y aprender habilidades diversas, desde el producto hasta las ventas, el marketing y las relaciones con los inversores. Este conjunto diverso de responsabilidades es un cambio significativo de sus roles anteriores en Microsoft y Citus Data.

Sai se basa en una red de mentores y defensores para guiarlo a través de los desafíos de fundar una startup. Se apoya en la experiencia de sus inversores, cofundador y otros con los que ha trabajado en el pasado. Este sistema de apoyo lo ayuda a navegar la incertidumbre de si su experimento actual tendrá éxito.

En 2024, PeerDB tiene como objetivo proporcionar la mejor experiencia del mundo para replicar datos de PostgreSQL a almacenes de datos, colas y almacenamiento. Las áreas clave de enfoque son:

1. Rendimiento: PeerDB será de primer nivel en rendimiento, lo que permitirá a los clientes mover terabytes de datos de manera rápida y confiable.

2. Simplicidad: PeerDB será extremadamente fácil de usar, con un enfoque en proporcionar una excelente experiencia de usuario.

3. Rentabilidad: PeerDB será rentable y ofrecerá una tarificación transparente, a diferencia de las herramientas existentes que pueden ser costosas y difíciles de predecir.

Más allá de 2024, la visión a largo plazo de PeerDB es convertirse en la herramienta de movimiento de datos de referencia para PostgreSQL. El objetivo es proporcionar la mejor experiencia para cualquier caso de uso de movimiento de datos, ya sea para ingresar o extraer datos de PostgreSQL.