A PeerDB, il nostro focus è sulla costruzione della migliore soluzione al mondo per replicare i dati da Postgres a data warehouse, code e storage. Adottiamo un approccio di architettura peer-to-peer, che ci permette di ottimizzare profondamente il connettore tra Postgres e il sistema di destinazione.

Alcune delle principali sfide tecniche che abbiamo risolto includono:

1. Snapshot parallelo: Per i carichi di dati iniziali, suddividiamo le grandi tabelle Postgres in base agli identificatori interni e trasmettiamo i dati in parallelo alla destinazione. Questo ci permette di spostare terabyte di dati in ore invece che in giorni.

2. CDC ottimizzato: Per la replica incrementale, sfruttiamogli slot di replica logica di Postgres per catturare i cambiamenti. Applichiamo quindi varie ottimizzazioni come la conversione AO e la compressione zstd per ottenere latenze inferiori al minuto, superando di gran lunga gli strumenti esistenti.

3. Supporto nativo dei tipi di dati: Garantiamo che i ricchi tipi di dati Postgres come i dati geospaziali vengano replicati in modo trasparente alla destinazione nel loro formato nativo, evitando la necessità di costose trasformazioni.

A scala, i clienti hanno affrontato diversi problemi con gli strumenti di spostamento dei dati esistenti quando replicavano i dati da PostgreSQL ai data warehouse:

1. Prestazioni e affidabilità: Spostare grandi volumi di dati, come terabyte di dati o gestire una flotta di database PostgreSQL, era molto lento e poco affidabile. I carichi iniziali e la sincronizzazione continua spesso richiedevano giorni e si interrompevano nel mezzo, richiedendo interventi manuali.

2. Supporto delle funzionalità: Gli strumenti esistenti non supportavano nativamente molti dei ricchi tipi di dati e delle funzionalità disponibili in PostgreSQL, come i tipi di dati geospaziali, le colonne JSON e la partizione. Ciò costringeva i clienti a eseguire trasformazioni aggiuntive, aggiungendo complessità e overhead.

3. Costo: I modelli di prezzo degli strumenti esistenti, spesso basati sul volume dei dati trasferiti o sul numero di righe, si traducevano in costi elevati e imprevedibili per i clienti che eseguivano carichi di lavoro PostgreSQL su larga scala.

Queste sfide hanno portato i clienti a ricorrere alla costruzione di soluzioni interne utilizzando strumenti open source come Debezium, che, pur essendo funzionali su larga scala, richiedevano un notevole sforzo e risorse di ingegneria per essere implementati e mantenuti.

Per affrontare questi problemi, il team di PDB ha sviluppato un'architettura peer-to-peer incentrata sulla fornitura di una soluzione di spostamento dei dati robusta, ad alte prestazioni e ricca di funzionalità specificamente per PostgreSQL. Le principali innovazioni tecniche includono:

• Snapshot parallelo: Partizionamento di grandi tabelle e trasmissione dei dati in parallelo per consentire lo spostamento di terabyte di dati in ore invece che in giorni.
• Replica incrementale ottimizzata: Sfruttando gli slot di replica logica di PostgreSQL, eseguendo la conversione AO e la compressione zstd per ottenere latenze inferiori al minuto.
• Supporto nativo dei tipi di dati: Preservazione dei ricchi tipi di dati, come i dati geospaziali, convertendoli nei formati appropriati per il data warehouse di destinazione.

PeerDB è progettato per fornire una soluzione robusta e ad alte prestazioni per replicare i dati da PostgreSQL a data warehouse, code e storage. Alcune delle principali funzionalità e vantaggi tecnici di PeerDB includono:

1. Snapshot parallelo: PeerDB utilizza una tecnica di snapshot parallelo unica per spostare terabyte di dati da PostgreSQL alla destinazione in poche ore, anziché in giorni, come si vede con altri strumenti ETL generalizzati.

2. Replica incrementale con bassa latenza: PeerDB sfrutta gli slot di replica logica di PostgreSQL per ottenere una replica dei dati incrementale con latenze inferiori a 1 minuto, molto più veloce rispetto ai 5 minuti di latenza minima degli strumenti esistenti.

3. Supporto nativo dei tipi di dati: PeerDB garantisce che i ricchi tipi di dati in PostgreSQL, come i dati geospaziali, siano preservati e replicati nel loro formato nativo nella destinazione, evitando la necessità di costose trasformazioni.

4. Ottimizzazioni delle prestazioni: PeerDB impiega diverse tecniche di ottimizzazione delle prestazioni, tra cui la conversione dei dati in formato Append-Optimized (AO) per Snowflake e l'utilizzo della compressione zstd, che può fornire fino al 30% di miglioramento delle prestazioni.

5. Merge paralleli: Quando applica i cambiamenti alla destinazione, PeerDB esegue merge paralleli per garantire una replica dei dati efficiente e ad alta velocità.

6. Architettura peer-to-peer: A differenza dei modelli hub-and-spoke utilizzati da molti strumenti ETL generalizzati, l'architettura peer-to-peer di PeerDB le consente di concentrarsi sulla costruzione di un connettore robusto e di alta qualità tra PostgreSQL e specifiche destinazioni, anziché supportare un'ampia gamma di connettori.

7. Approccio open source: PeerDB è un progetto open source, che fornisce trasparenza, crea fiducia con i clienti e consente contributi della comunità e validazione delle capacità dello strumento.

L'open source è stata una scelta ovvia per PeerDB, data la provenienza del team e il fatto che stanno costruendo uno strumento di spostamento dei dati per PostgreSQL, che è completamente open source. I vantaggi che hanno riscontrato dall'open sourcing di PeerDB includono:

1. Validazione: PeerDB ha diversi carichi di lavoro di produzione su larga scala che utilizzano la versione open source, il che convalida che c'è un vero bisogno del loro prodotto.

2. Visibilità: L'attività open source, le stelle e il coinvolgimento della comunità aiutano ad aumentare la visibilità di PeerDB.

3. Fiducia: Offrire una versione open source crea fiducia con i clienti, poiché possono ispezionare il codice e vedere che PeerDB non è legato a software proprietario.

Il rapporto tra clienti open source e a pagamento varia in base alla complessità dello strumento. Per PeerDB, circa 2-3 su 10 clienti utilizzano la versione open source, mentre il resto preferisce il servizio gestito o l'offerta enterprise con supporto.

Per quanto riguarda la strategia di contenuti di PeerDB, dividono il loro blog in quattro principali categorie:

1. Prodotto: Aggiornamenti sulle nuove funzionalità e rilasci.
2. Comunità: Condivisione di apprendimenti e intuizioni che la comunità troverebbe preziosi.
3. Ingegneria: Approfondimento dei dettagli tecnici di come è costruito PeerDB.
4. Divertente: Post di blog leggeri e creativi.

L'obiettivo del blog è aumentare la consapevolezza su PeerDB e mostrare i vantaggi che offre. Mentre l'impatto immediato potrebbe non essere visibile, il team ha notato che il blog può portare a clienti che si mettono in contatto dopo 1-2 anni di seguire i contenuti.

Per quanto riguarda il futuro di PeerDB, la visione del team è di renderlo lo strumento di spostamento dei dati di riferimento per PostgreSQL, fornendo la migliore esperienza al mondo per qualsiasi caso d'uso di spostamento dei dati, sia che si tratti di inserire o estrarre dati da PostgreSQL. Il focus immediato è sul perfezionamento del caso d'uso di cattura dei cambiamenti dei dati da PostgreSQL a data warehouse, code e storage.

Come fondatore, Sai ha imparato diverse lezioni preziose sulla gestione di un team e sulla determinazione del focus del prodotto. Sottolinea che essere un fondatore comporta indossare molti cappelli e acquisire competenze diverse, dal prodotto alle vendite, al marketing e alle relazioni con gli investitori. Questo insieme diversificato di responsabilità rappresenta un cambiamento significativo rispetto ai suoi ruoli precedenti presso Microsoft e Citus Data.

Sai si affida a una rete di mentori e campioni per guidarlo attraverso le sfide della fondazione di una startup. Si affida all'esperienza dei suoi investitori, del cofondatore e di altri con cui ha lavorato in passato. Questo sistema di supporto lo aiuta a navigare nell'incertezza di sapere se il suo esperimento attuale avrà successo.

La strategia principale adottata da Sai e dal suo team è mantenere un focus laser sull'esperimento attuale - fornire la migliore soluzione al mondo per replicare i dati da Postgres a data warehouse, code e storage. Vedono questo come un esperimento cruciale che determinerà la direzione dell'azienda nei prossimi 6 mesi-1 anno.

Sai crede che l'esecuzione sia più importante dell'idea iniziale, poiché le idee possono evolversi e cambiare nel tempo. Tuttavia, riconosce che avere un punto di partenza solido, radicato nell'esperienza di mercato del fondatore, può fornire una base utile. Per Sai, il suo background nel lavoro con i clienti sulle sfide di spostamento dei dati di Postgres gli ha dato un vantaggio prezioso nell'identificare il problema da risolvere.

In definitiva, Sai sottolinea l'importanza di essere persistente, paziente e adattabile come fondatore. Riconosce gli alti e bassi del percorso di startup e la necessità di mantenere una mentalità stoica, senza entusiasmarsi troppo per gli alti o scoraggiarsi troppo per i bassi. Concentrandosi sull'esecuzione in tutti gli aspetti dell'attività, dall'ingegneria al marketing, Sai e il suo team mirano a determinare se il loro esperimento attuale porterà al product-market fit e alla scalabilità.

Nel 2024, PeerDB mira a fornire la migliore esperienza al mondo per replicare i dati da PostgreSQL a data warehouse, code e storage. Le aree chiave di focus sono:

1. Prestazioni: PeerDB sarà all'avanguardia nelle prestazioni, consentendo ai clienti di spostare rapidamente e in modo affidabile terabyte di dati.

2. Semplicità: PeerDB sarà estremamente semplice da usare, con un focus sulla fornitura di una ottima user experience.

3. Convenienza: PeerDB sarà conveniente e offrirà prezzi trasparenti, a differenza degli strumenti esistenti che possono essere costosi e difficili da prevedere.

Oltre il 2024, la visione a lungo termine per PeerDB è di diventare lo strumento di spostamento dei dati di riferimento per PostgreSQL. L'obiettivo è fornire la migliore esperienza per qualsiasi caso d'uso di spostamento dei dati, sia che si tratti di inserire o estrarre dati da PostgreSQL.

PeerDB mira a diventare per PostgreSQL ciò che strumenti come l'Oracle OCI Data Integration Suite e SQL Server Integration Services sono per i loro rispettivi database - una soluzione di spostamento dei dati dedicata e ad alte prestazioni. Il focus immediato è sul perfezionamento del caso d'uso di cattura dei cambiamenti dei dati da PostgreSQL, ma il team sta anche lavorando per espandere i connettori e i casi d'uso supportati nel tempo.

La chiave per raggiungere questa visione è un focus implacabile sull'esecuzione. Mentre l'idea iniziale ha fornito un punto di partenza, il team ritiene che l'esecuzione, la persistenza e una profonda comprensione delle esigenze dei clienti siano più importanti per il successo della startup. Ascoltando i clienti, iterando sul prodotto e costruendo una squadra e una struttura solide in ambito marketing, ingegneria e prodotto, PeerDB mira a trovare il giusto product-market fit e a scalare la sua soluzione.

A un livello elevato, PB rende veloce e semplice replicare i dati da Postgres a data warehouse, code e storage. Le principali sfide tecniche che PB ha risolto includono:

1. Snapshot parallelo: PB suddivide le grandi tabelle Postgres in base agli identificatori interni e trasmette i dati in parallelo alla destinazione, consentendo di spostare terabyte di dati in ore invece che in giorni.

2. Replica incrementale ottimizzata: PB sfrutta gli slot di replica logica di Postgres ed esegue ottimizzazioni come la conversione AO e la compressione zstd per ottenere una latenza inferiore al minuto per la cattura dei dati in tempo reale.

3. Supporto nativo dei tipi di dati: PB garantisce che i ricchi tipi di dati in Postgres, come i dati geospaziali, siano preservati e convertiti nei formati nativi appropriati nei sistemi di destinazione.

PB ha adottato una strategia open source, che ha fornito vantaggi in termini di validazione, visibilità e costruzione della fiducia con i clienti. L'approccio open source ha anche aiutato il team a rimanere concentrato sulla qualità piuttosto che sulla ampiezza.

Guardando al 2024, l'obiettivo per PB è fornire la migliore esperienza al mondo per replicare i dati da Postgres a data warehouse, code e storage. Il team mira a rendere PB lo strumento di spostamento dei dati di riferimento per Postgres, supportando una vasta gamma di casi d'uso oltre alla semplice cattura dei dati in tempo reale.

Il fondatore sottolinea che l'esecuzione è più importante dell'idea iniziale, poiché l'idea evolverà e sarà la persistenza, la pazienza e l'approccio strutturato del team in ambito marketing, ingegneria e prodotto a determinare in definitiva il successo della startup.