在 PeerDB 中,我們的重點是建立世界上最好的解決方案,用於將資料從 Postgres 複製到資料倉庫、佇列和儲存空間。我們採用點對點架構的方法,這使我們能夠深入優化 Postgres 與目標系統之間的連接器。

我們已經解決了一些關鍵的技術挑戰,包括:

1. 並行快照: 對於初始資料載入,我們根據內部識別碼將大型 Postgres 表格分區,並以並行方式將資料串流到目標。這使我們能夠在幾個小時內而不是幾天內移動數TB的資料。

2. 優化的 CDC: 對於增量複製,我們利用 Postgres 邏輯複製槽來捕獲變更。然後我們應用各種優化,如 AO 轉換和 zstd 壓縮,以實現亞分鐘的延遲,遠超現有工具。

3. 原生資料類型支援: 我們確保將豐富的 Postgres 資料類型(如地理空間)以原生格式無縫複製到目標,避免進行昂貴的轉換。

在大規模情況下,客戶在將資料從 PostgreSQL 複製到資料倉庫時,面臨著現有資料移動工具的幾個問題:

1. 效能和可靠性: 移動大量資料(如數TB的資料)或管理一群 PostgreSQL 資料庫非常緩慢且不可靠。初始載入和持續同步通常需要幾天時間,並且中途會中斷,需要人工干預。

2. 功能支援: 現有工具無法原生支援 PostgreSQL 中許多豐富的資料類型和功能,如地理空間資料類型、JSON 欄位和分區。這迫使客戶進行額外的轉換,增加了複雜性和開銷。

3. 成本: 現有工具的定價模式通常基於傳輸資料量或行數,這導致運行大規模 PostgreSQL 工作負載的客戶承擔高昂且難以預測的成本。

這些挑戰迫使客戶使用開源工具(如 Debezium)來構建內部解決方案,雖然在大規模情況下可以正常運行,但需要大量的工程工作和資源來實施和維護。

為了解決這些問題,PDB 團隊開發了一個專注於為 PostgreSQL 提供強大、高性能和功能豐富的資料移動解決方案的點對點架構。主要的技術創新包括:

• 並行快照: 分區大型表格並以並行方式串流資料,使數TB的資料在幾個小時內而不是幾天內移動。
• 優化的增量複製: 利用 PostgreSQL 的邏輯複製槽,執行 AO 轉換和 zstd 壓縮以實現亞分鐘延遲。
• 原生資料類型支援: 通過將豐富的資料類型(如地理空間資料)轉換為目標資料倉庫的適當格式來保留它們。

通過解決客戶面臨的核心挑戰,PDB 旨在為從 PostgreSQL 複製資料到資料倉庫、佇列和存儲提供最佳體驗。

PeerDB 旨在為從 PostgreSQL 複製資料到資料倉庫、佇列和存儲提供強大和高性能的解決方案。PeerDB 的一些關鍵功能和技術優勢包括:

1. 並行快照: PeerDB 利用獨特的並行快照技術,在幾個小時內而不是幾天內將數TB的資料從 PostgreSQL 移動到目標,這與其他通用 ETL 工具的情況不同。

2. 低延遲的增量複製: PeerDB 利用 PostgreSQL 的邏輯複製槽實現增量資料複製,延遲時間小於 1 分鐘,明顯快於現有工具的 5 分鐘最小延遲。

3. 原生資料類型支援: PeerDB 確保 PostgreSQL 中的豐富資料類型(如地理空間資料)被保留並以原生格式複製到目標,避免進行昂貴的轉換。

4. 效能優化: PeerDB 採用了多項效能增強技術,包括將資料轉換為 Snowflake 的 Append-Optimized (AO) 格式,以及使用 zstd 壓縮,可提供高達 30% 的效能改善。

5. 並行合併: 在將變更應用到目標時,PeerDB 執行並行合併以確保高效和高吞吐量的資料複製。

6. 點對點架構: 與許多通用 ETL 工具使用的中心-輻射模型不同,PeerDB 的點對點架構使其能夠專注於在 PostgreSQL 和特定目標之間構建強大和高質量的連接器,而不是支持廣泛的連接器。

7. 開源方法: PeerDB 是一個開源項目,這提供了透明度,建立了與客戶的信任,並允許社區貢獻和驗證該工具的功能。

通過解決現有資料移動工具的效能、可靠性和功能限制,PeerDB 旨在為需要將資料從 PostgreSQL 複製到目標資料存儲的客戶提供卓越的體驗,無論是用於實時分析、欺詐檢測還是其他用例。

對於 PeerDB 來說,開源是一個不言而喻的選擇,考慮到團隊的背景以及他們正在為 PostgreSQL 構建一個資料移動工具,而 PostgreSQL 本身就是完全開源的。他們從開源 PeerDB 中獲得的好處包括:

1. 驗證: PeerDB 有幾個大規模的生產工作負載使用開源版本,這證實了他們產品的真正需求。

2. 可見性: 開源活動、星標和社區參與有助於提高 PeerDB 的知名度。

3. 信任: 提供開源版本有助於建立客戶的信任,因為他們可以檢查代碼並看到 PeerDB 並未綁定到專有軟體。

開源與付費客戶的比例會根據工具的複雜性而有所不同。對於 PeerDB 來說,大約 2-3 個客戶中有 1 個使用開源版本,其餘則偏好使用帶有支援的託管服務或企業版。

關於 PeerDB 的內容策略,他們將博客分為四個主要類別:

1. 產品: 介紹新功能和版本更新。
2. 社區: 分享團隊的學習和見解,這些對社區有價值。
3. 工程: 深入探討 PeerDB 的技術細節。
4. 趣味: 輕鬆有趣的博客文章。

博客的目標是提高對 PeerDB 的認知,並展示它提供的好處。雖然短期內的影響可能不太明顯,但團隊發現博客可以在 1-2 年後吸引客戶主動聯繫。

至於 PeerDB 的未來,團隊的願景是使其成為 PostgreSQL 的首選資料移動工具,為任何資料移動用例提供最佳體驗,無論是將資料引入還是引出 PostgreSQL。目前的重點是完善從 PostgreSQL 到資料倉庫、佇列和存儲的變更資料捕獲用例。

作為創始人,Sai 學到了關於管理團隊和確定產品重點的許多寶貴經驗。他強調,成為創始人意味著要扮演多重角色,並學習各種技能,從產品到銷售、營銷和投資者關係。這種多樣的職責是與他之前在微軟和 Citus Data 的角色大不相同。

Sai 依靠一個導師和支持者的網絡來指導他度過創業的挑戰。他借助投資者、聯合創始人和過去合作過的其他人的專業知識。這個支持系統幫助他應對當前實驗是否會成功的不確定性。

Sai 和他的團隊採取的核心策略是保持對當前實驗的激烈專注 - 提供世界上最好的解決方案,用於將資料從 Postgres 複製到資料倉庫、佇列和存儲。他們認為這是一個關鍵的實驗,將在未來 6 個月到 1 年內決定公司的方向。

Sai 認為,執行力比初始想法更重要,因為想法可以隨時間而演變和改變。然而,他承認擁有一個強大的起點,根植於創始人的市場經驗,可以提供有價值的基礎。對於 Sai 來說,他在處理 Postgres 資料移動挑戰方面的背景,為他識別要解決的問題提供了寶貴的優勢。

最終,Sai 強調作為創始人要保持堅韌、耐心和適應性的重要性。他認識到創業之路的起起伏伏,需要保持冷靜的心態,不要被高潮過度興奮或被低谷過度沮喪。通過專注於工程、營銷和產品等各個業務方面的執行,Sai 和他的團隊旨在確定他們當前的實驗是否會達到產品市場適配並實現規模化。

到 2024 年,PeerDB 的目標是為從 PostgreSQL 複製資料到資料倉庫、佇列和存儲提供最佳體驗。主要重點領域包括:

1. 效能: PeerDB 將在效能方面處於領先地位,使客戶能夠快速可靠地移動數TB的資料。

2. 簡單性: PeerDB 將極其簡單易用,重點放在提供出色的用戶體驗。

3. 成本效益: PeerDB 將具有成本效益,並提供透明的定價,與現有工具昂貴且難以預測的定價模式不同。

2024 年之後,PeerDB 的長期願景是成為 PostgreSQL 的首選資料移動工具。目標是為任何資料移動用例(無論是將資料引入還是引出 PostgreSQL)提供最佳體驗。

PeerDB 旨在成為 PostgreSQL 的工具,就像 Oracle 的 OCI Data Integration Suite 和 SQL Server Integration Services 是其各自資料庫的工具一樣 - 一個專門的高性能資料移動解決方案。目前的重點是完善從 PostgreSQL 進行變更資料捕獲,但團隊也在努力擴展支持的連接器和用例。

實現這一願景的關鍵在於無情的執行力。雖然最初的想法提供了一個起點,但團隊認為,執行力、堅韌性和對客戶需求的深入了解對於創業成功更為重要。通過傾聽客戶、迭代產品,並在營銷、工程和產品方面建立強大的團隊和結構,PeerDB 旨在找到合適的產品市場適配並擴大其解決方案。

總的來說,PB 可以快速簡單地將資料從 Postgres 複製到資料倉庫、佇列和存儲。PB 已經解決的關鍵技術挑戰包括:

1. 並行快照: PB 根據內部識別碼將大型 Postgres 表格分區,並以並行方式將資料串流到目標,使數TB的資料在幾個小時內而不是幾天內移動。

2. 優化的增量複製: PB 利用 Postgres 邏輯複製槽,並進行諸如 AO 轉換和 zstd 壓縮等優化,實現了變更資料捕獲的亞分鐘延遲。

3. 原生資料類型支援: PB 確保 Postgres 中的豐富資料類型(如地理空間資料)被保留並轉換為目標系統的適當原生格式。

PB 採用了開源策略,這為驗證、可見性和與客戶建立信任帶來了好處。開源方法也幫助團隊保持專注於質量而不是廣度。

展望 2024 年,PB 的目標是為從 Postgres 複製資料到資料倉庫、佇列和存儲提供最佳體驗。該團隊旨在使 PB 成為 Postgres 的首選資料移動工具,支持變更資料捕獲之外的各種用例。

創始人強調,執行力比初始想法更重要,