Bij PeerDB richten we ons op het bouwen van 's werelds beste oplossing voor het repliceren van gegevens van Postgres naar datawarehouses, wachtrijen en opslag. We hanteren een peer-to-peer architectuur, waardoor we de connector tussen Postgres en het doelsysteem diep kunnen optimaliseren.

Sommige belangrijke technische uitdagingen die we hebben opgelost, zijn:

1. Parallelle momentopname: Voor initiële gegevensladingen verdelen we grote Postgres-tabellen op basis van interne identificatoren en stromen we de gegevens parallel naar het doel. Hierdoor kunnen we terabytes aan gegevens in uren in plaats van dagen verplaatsen.

2. Geoptimaliseerde CDC: Voor incrementele replicatie maken we gebruik van Postgres-logische replicatiesleuven om wijzigingen vast te leggen. Vervolgens passen we verschillende optimalisaties toe, zoals AO-conversie en zstd-compressie, om latentietijden van minder dan een minuut te bereiken, ver boven bestaande tools.

3. Ondersteuning voor native gegevenstypen: We zorgen ervoor dat rijke Postgres-gegevenstypen zoals geo-ruimtelijke gegevens naadloos worden gerepliceerd naar het doel in hun native formaat, waardoor dure transformaties overbodig worden.

Op schaal ondervonden klanten verschillende problemen met bestaande gegevensverplaatsingstools bij het repliceren van gegevens van PostgreSQL naar datawarehouses:

1. Prestaties en betrouwbaarheid: Het verplaatsen van grote hoeveelheden gegevens, zoals terabytes aan gegevens of het beheren van een vloot PostgreSQL-databases, was zeer traag en onbetrouwbaar. Initiële ladingen en voortdurende synchronisatie zouden vaak meerdere dagen duren en onderweg vastlopen, waardoor handmatige interventie nodig was.

2. Ondersteuning voor functies: Bestaande tools ondersteunden niet native veel van de rijke gegevenstypen en functies die beschikbaar zijn in PostgreSQL, zoals geo-ruimtelijke gegevenstypen, JSON-kolommen en partitionering. Dit dwong klanten tot het uitvoeren van extra transformaties, wat complexiteit en overhead toevoegde.

3. Kosten: De prijsmodellen van bestaande tools, vaak gebaseerd op het volume van de overgedragen gegevens of het aantal rijen, resulteerden in hoge en onvoorspelbare kosten voor klanten met grootschalige PostgreSQL-workloads.

Deze uitdagingen leidden ertoe dat klanten hun toevlucht namen tot het bouwen van interne oplossingen met behulp van open-source tools zoals Debezium, die, hoewel functioneel op schaal, aanzienlijke engineering-inspanningen en middelen vereisten om te implementeren en onderhouden.

PeerDB is ontworpen om een robuuste en hoogwaardige oplossing te bieden voor het repliceren van gegevens van PostgreSQL naar datawarehouses, wachtrijen en opslag. Enkele van de belangrijkste kenmerken en technische voordelen van PeerDB zijn:

1. Parallelle momentopname: PeerDB maakt gebruik van een unieke parallelle momentopnametechniek om terabytes aan gegevens van PostgreSQL naar het doel te verplaatsen in een kwestie van uren, in plaats van dagen, zoals bij andere algemene ETL-tools.

2. Incrementele replicatie met lage latentie: PeerDB maakt gebruik van PostgreSQL's logische replicatiesleuven om incrementele gegevensreplicatie te bereiken met latentietijden van minder dan 1 minuut, aanzienlijk sneller dan de minimale latentie van 5 minuten van bestaande tools.

3. Ondersteuning voor native gegevenstypen: PeerDB zorgt ervoor dat rijke gegevenstypen in PostgreSQL, zoals geo-ruimtelijke gegevens, worden behouden en in hun native formaat worden gerepliceerd naar het doel, waardoor dure transformaties overbodig worden.

Open source was een vanzelfsprekende keuze voor PeerDB, gezien de achtergrond van het team en het feit dat ze een gegevensverplaatsingstool voor PostgreSQL bouwen, dat volledig open source is. De voordelen die ze hebben gezien van het open source maken van PeerDB zijn:

1. Validatie: PeerDB heeft verschillende grootschalige productiewerkbelastingen die gebruikmaken van de open-source versie, wat valideert dat er een echte behoefte is aan hun product.

2. Zichtbaarheid: De open-source activiteit, sterren en community-betrokkenheid helpen de zichtbaarheid van PeerDB te vergroten.

3. Vertrouwen: Het aanbieden van een open-source versie bouwt vertrouwen op bij klanten, omdat ze de code kunnen inspecteren en zien dat PeerDB niet gekoppeld is aan propriëtaire software.

Als oprichter heeft Sai verschillende waardevolle lessen geleerd over het runnen van een team en het bepalen van de productfocus. Hij benadrukt dat het oprichter zijn inhoudt dat je veel petten moet opzetten en diverse vaardigheden moet leren, van product tot verkoop, marketing en investeursrelaties. Deze diverse set verantwoordelijkheden is een aanzienlijke verandering ten opzichte van zijn eerdere rollen bij Microsoft en Citus Data.

Sai leunt op een netwerk van mentoren en kampioenen om hem door de uitdagingen van het oprichten van een startup te loodsen. Hij doet een beroep op de expertise van zijn investeerders, mede-oprichter en anderen waarmee hij in het verleden heeft samengewerkt. Dit ondersteuningssysteem helpt hem de onzekerheid te navigeren of zijn huidige experiment zal slagen.

In 2024 wil PeerDB de wereldwijde beste ervaring bieden voor het repliceren van gegevens van PostgreSQL naar datawarehouses, wachtrijen en opslag. De belangrijkste aandachtsgebieden zijn:

1. Prestaties: PeerDB zal toonaangevend zijn op het gebied van prestaties, waardoor klanten terabytes aan gegevens snel en betrouwbaar kunnen verplaatsen.

2. Eenvoud: PeerDB zal uiterst eenvoudig in gebruik zijn, met de focus op het bieden van een geweldige gebruikerservaring.

3. Kosteneffectiviteit: PeerDB zal kosteneffectief zijn en transparante prijzen bieden, in tegenstelling tot bestaande tools die duur kunnen zijn en moeilijk te voorspellen.

Op hoog niveau maakt PB het snel en eenvoudig om gegevens van Postgres te repliceren naar datawarehouses, wachtrijen en opslag. De belangrijkste technische uitdagingen die PB heeft opgelost, zijn:

1. Parallelle momentopname: PB partitioneert grote Postgres-tabellen op basis van interne identificatoren en stroomt de gegevens parallel naar het doel, waardoor terabytes aan gegevens in uren in plaats van dagen kunnen worden verplaatst.

2. Geoptimaliseerde incrementele replicatie: PB maakt gebruik van Postgres-logische replicatiesleuven en voert optimalisaties uit zoals AO-conversie en zstd-compressie om latentietijden van minder dan een minuut voor change data capture te bereiken.

3. Ondersteuning voor native gegevenstypen: PB zorgt ervoor dat rijke gegevenstypen in Postgres, zoals geo-ruimtelijke gegevens, worden behouden en omgezet naar de juiste native indelingen in de doelsystemen.