Tại PeerDB, chúng tôi tập trung vào việc xây dựng giải pháp tốt nhất thế giới để nhân bản dữ liệu từ Postgres đến các kho dữ liệu, hàng đợi và lưu trữ. Chúng tôi áp dụng kiến trúc ngang hàng, cho phép chúng tôi tối ưu hóa sâu kết nối giữa Postgres và hệ thống đích.

Một số thách thức kỹ thuật chính mà chúng tôi đã giải quyết bao gồm:

1. Chụp ảnh song song: Đối với tải dữ liệu ban đầu, chúng tôi phân vùng các bảng Postgres lớn dựa trên các định danh nội bộ và truyền dữ liệu song song đến đích. Điều này cho phép chúng tôi di chuyển hàng terabyte dữ liệu trong vài giờ thay vì vài ngày.

2. CDC tối ưu: Đối với nhân bản tăng dần, chúng tôi tận dụng các khe nhân bản logic của Postgres để ghi lại các thay đổi. Sau đó, chúng tôi áp dụng các tối ưu hóa khác như chuyển đổi AO và nén zstd để đạt được độ trễ dưới một phút, vượt xa các công cụ hiện có.

3. Hỗ trợ kiểu dữ liệu gốc: Chúng tôi đảm bảo rằng các kiểu dữ liệu phong phú của Postgres như dữ liệu không gian địa lý được nhân bản một cách liền mạch đến đích ở định dạng gốc, tránh việc phải thực hiện các chuyển đổi tốn kém.

Tại quy mô lớn, khách hàng đã gặp phải nhiều vấn đề với các công cụ di chuyển dữ liệu hiện có khi nhân bản dữ liệu từ PostgreSQL đến các kho dữ liệu:

1. Hiệu suất và độ tin cậy: Di chuyển khối lượng lớn dữ liệu, chẳng hạn như hàng terabyte dữ liệu hoặc quản lý một đội PostgreSQL, rất chậm và không đáng tin cậy. Tải dữ liệu ban đầu và đồng bộ hóa liên tục thường mất nhiều ngày và bị gián đoạn, cần can thiệp thủ công.

2. Hỗ trợ tính năng: Các công cụ hiện có không hỗ trợ nội tuyến nhiều kiểu dữ liệu phong phú và tính năng có sẵn trong PostgreSQL, chẳng hạn như kiểu dữ liệu không gian địa lý, cột JSON và phân vùng. Điều này buộc khách hàng phải thực hiện các chuyển đổi bổ sung, làm tăng độ phức tạp và chi phí.

3. Chi phí: Các mô hình định giá của các công cụ hiện có, thường dựa trên khối lượng dữ liệu được chuyển hoặc số hàng, dẫn đến chi phí cao và khó dự đoán đối với khách hàng chạy các tải PostgreSQL quy mô lớn.

PeerDB được thiết kế để cung cấp một giải pháp mạnh mẽ và hiệu suất cao để nhân bản dữ liệu từ PostgreSQL đến các kho dữ liệu, hàng đợi và lưu trữ. Một số tính năng chính và lợi thế kỹ thuật của PeerDB bao gồm:

1. Chụp ảnh song song: PeerDB sử dụng một kỹ thuật chụp ảnh song song độc đáo để di chuyển hàng terabyte dữ liệu từ PostgreSQL đến đích trong vài giờ, thay vì vài ngày như với các công cụ ETL tổng quát khác.

2. Nhân bản tăng dần với độ trễ thấp: PeerDB tận dụng các khe nhân bản logic của PostgreSQL để đạt được nhân bản dữ liệu tăng dần với độ trễ dưới 1 phút, nhanh hơn nhiều so với độ trễ tối thiểu 5 phút của các công cụ hiện có.

3. Hỗ trợ kiểu dữ liệu gốc: PeerDB đảm bảo rằng các kiểu dữ liệu phong phú trong PostgreSQL, chẳng hạn như dữ liệu không gian địa lý, được bảo tồn và nhân bản ở định dạng gốc đến đích, tránh việc phải thực hiện các chuyển đổi tốn kém.

Mở mã nguồn là một sự lựa chọn tự nhiên đối với PeerDB, dựa trên nền tảng của nhóm và sự thực là họ đang xây dựng một công cụ di chuyển dữ liệu cho PostgreSQL, là hoàn toàn mã nguồn mở. Những lợi ích mà họ đã nhận được từ việc mã nguồn mở PeerDB bao gồm:

1. Xác nhận: PeerDB có một số tải làm việc quy mô lớn sử dụng phiên bản mã nguồn mở, điều này xác nhận rằng có nhu cầu thực sự đối với sản phẩm của họ.

2. Tầm nhìn: Hoạt động mã nguồn mở, sao lưu và sự tham gia của cộng đồng giúp tăng tầm nhìn của PeerDB.

3. Niềm tin: Cung cấp một phiên bản mã nguồn mở xây dựng niềm tin với khách hàng, vì họ có thể kiểm tra mã và thấy rằng PeerDB không bị ràng buộc với phần mềm độc quyền.

Nhìn chung, PB làm cho việc nhân bản dữ liệu từ Postgres đến các kho dữ liệu, hàng đợi và lưu trữ trở nên nhanh chóng và đơn giản. Các thách thức kỹ thuật chính mà PB đã giải quyết bao gồm:

1. Chụp ảnh song song: PB phân vùng các bảng Postgres lớn dựa trên các định danh nội bộ và truyền dữ liệu song song đến đích, cho phép di chuyển hàng terabyte dữ liệu trong vài giờ thay vì vài ngày.

2. Nhân bản tăng dần được tối ưu: PB tận dụng các khe nhân bản logic của Postgres và thực hiện các tối ưu hóa như chuyển đổi AO và nén zstd để đạt được độ trễ dưới một phút cho việc ghi lại dữ liệu thay đổi.

3. Hỗ trợ kiểu dữ liệu gốc: PB đảm bảo rằng các kiểu dữ liệu phong phú trong Postgres, như dữ liệu không gian địa lý, được bảo tồn và chuyển đổi sang định dạng gốc phù hợp trong các hệ thống đích.

Vào năm 2024, mục tiêu của PeerDB là cung cấp trải nghiệm tốt nhất thế giới cho việc nhân bản dữ liệu từ PostgreSQL đến các kho dữ liệu, hàng đợi và lưu trữ. Các lĩnh vực trọng tâm chính là:

1. Hiệu suất: PeerDB sẽ có hiệu suất hàng đầu, cho phép khách hàng di chuyển hàng terabyte dữ liệu một cách nhanh chóng và đáng tin cậy.

2. Tính đơn giản: PeerDB sẽ rất đơn giản để sử dụng, với trọng tâm là cung cấp trải nghiệm người dùng tuyệt vời.

3. Hiệu quả về chi phí: PeerDB sẽ có chi phí hiệu quả và cung cấp bảng giá minh bạch, không giống như các công cụ hiện có có thể tốn kém và khó dự đoán.