Vid PeerDB är vår fokus att bygga världens bästa lösning för att replikera data från Postgres till datalagerhus, köer och lagring. Vi använder oss av en peer-to-peer-arkitektur, vilket gör att vi kan djupt optimera kopplingen mellan Postgres och målsystemet.

Några av de viktigaste tekniska utmaningar vi har löst inkluderar:

1. Parallell ögonblicksbild: För inledande datauppladdningar delar vi upp stora Postgres-tabeller baserat på interna identifierare och strömmar data parallellt till målet. Detta gör att vi kan flytta terabyte med data på timmar istället för dagar.

2. Optimerad CDC: För inkrementell replikering utnyttjar vi Postgres logiska replikeringsplatser för att fånga förändringar. Vi tillämpar sedan olika optimeringstekniker som AO-konvertering och zstd-komprimering för att uppnå sub-minuts-fördröjningar, långt över befintliga verktyg.

3. Inbyggt stöd för datatyper: Vi ser till att rika Postgres-datatyper som geospatial data replikeras sömlöst till målet i sitt ursprungliga format, vilket undviker behovet av kostsamma transformeringar.

Vår öppna källkods-approach har varit ovärderlig, då den ger synlighet, validering och förtroende hos våra användare. Även om en del av våra användare väljer den öppna källkods-versionen, föredrar de flesta vår hanterade tjänst, som erbjuder företagsklass-support och ytterligare funktioner.

I stor skala stötte kunderna på flera problem med befintliga dataförflyttningsverktyg när de replikerade data från PostgreSQL till datalagerhus:

1. Prestanda och tillförlitlighet: Att flytta stora datamängder, som terabyte av data eller hantera en flotta av PostgreSQL-databaser, var mycket långsamt och opålitligt. Inledande laster och löpande synkronisering tog ofta flera dagar och gick sönder emellanåt, vilket krävde manuell åtgärd.

2. Funktionsstöd: Befintliga verktyg stödde inte inbyggt många av de rika datatyperna och funktionerna som finns i PostgreSQL, som geospatial datatyper, JSON-kolumner och partitionering. Detta tvingade kunderna att utföra ytterligare transformeringar, vilket ökade komplexiteten och belastningen.

3. Kostnad: Prissättningsmodellerna för befintliga verktyg, ofta baserade på volymen överförd data eller antalet rader, resulterade i höga och oförutsägbara kostnader för kunder med storskaliga PostgreSQL-arbetsbelastningar.

Dessa utmaningar ledde kunderna till att bygga egna lösningar med hjälp av öppen källkod som Debezium, vilket, även om det fungerade i stor skala, krävde betydande tekniska insatser och resurser att implementera och underhålla.

PeerDB är utformat för att tillhandahålla en robust och högpresterande lösning för att replikera data från PostgreSQL till datalagerhus, köer och lagring. Några av de viktigaste funktionerna och tekniska fördelarna med PeerDB inkluderar:

1. Parallell ögonblicksbild: PeerDB använder en unik parallell ögonblicksbildsteknik för att flytta terabyte med data från PostgreSQL till målet på bara timmar, istället för dagar som ses med andra generella ETL-verktyg.

2. Inkrementell replikering med låg fördröjning: PeerDB utnyttjar PostgreSQL:s logiska replikeringsplatser för att uppnå inkrementell datareplicering med fördröjningar på mindre än 1 minut, betydligt snabbare än den 5-minuters-fördröjning som är minimum för befintliga verktyg.

3. Inbyggt stöd för datatyper: PeerDB säkerställer att rika datatyper i PostgreSQL, som geospatial data, bevaras och replikeras i sitt ursprungliga format till målet, vilket undviker behovet av kostsamma transformeringar.

Öppen källkod var ett självklart val för PeerDB, med tanke på teamets bakgrund och det faktum att de bygger ett dataförflyttningsverktyg för PostgreSQL, som är helt öppen källkod. De fördelar de har sett av att göra PeerDB öppen källkod inkluderar:

1. Validering: PeerDB har flera storskaliga produktionsarbetsbelastningar som använder den öppna källkods-versionen, vilket validerar att det finns ett verkligt behov av deras produkt.

2. Synlighet: Den öppna källkods-aktiviteten, stjärnor och community-engagemang hjälper till att öka PeerDB:s synlighet.

3. Förtroende: Att erbjuda en öppen källkods-version bygger förtroende hos kunderna, eftersom de kan granska koden och se att PeerDB inte är bundet till proprietär programvara.

Som grundare har Sai lärt sig flera värdefulla lektioner om att driva ett team och bestämma produktfokus. Han betonar att vara grundare innebär att bära många hattar och lära sig olika färdigheter, från produkt till försäljning, marknadsföring och investerarrelationer. Denna mångfald av ansvar är en betydande förändring från hans tidigare roller på Microsoft och Citus Data.

Sai förlitar sig på ett nätverk av mentorer och förespråkare för att vägleda honom genom utmaningarna med att starta ett företag. Han lutar sig mot expertisen hos sina investerare, medgrundare och andra han har arbetat med tidigare. Detta stödsystem hjälper honom att navigera i osäkerheten kring huruvida hans nuvarande experiment kommer att lyckas.

På en övergripande nivå gör PB det snabbt och enkelt att replikera data från Postgres till datalagerhus, köer och lagring. De viktigaste tekniska utmaningar som PB har löst inkluderar:

1. Parallell ögonblicksbild: PB delar upp stora Postgres-tabeller baserat på interna identifierare och strömmar data parallellt till målet, vilket möjliggör att terabyte med data kan flyttas på timmar istället för dagar.

2. Optimerad inkrementell replikering: PB utnyttjar Postgres logiska replikeringsplatser och utför optimeringstekniker som AO-konvertering och zstd-komprimering för att uppnå sub-minuts-fördröjning för change data capture.

3. Inbyggt stöd för datatyper: PB säkerställer att rika datatyper i Postgres, som geospatial data, bevaras och konverteras till lämpliga ursprungliga format i målsystemen.