PeerDB의 초점은 Postgres에서 데이터 웨어하우스, 큐, 스토리지로 데이터를 복제하는 세계 최고의 솔루션을 구축하는 것입니다. 우리는 피어 투 피어 아키텍처 접근 방식을 취하여 Postgres와 대상 시스템 간의 커넥터를 깊이 최적화할 수 있습니다.

우리가 해결한 주요 기술적 과제는 다음과 같습니다:

1. 병렬 스냅샷팅: 초기 데이터 로드의 경우 내부 식별자를 기반으로 대용량 Postgres 테이블을 분할하고 데이터를 병렬로 대상에 스트리밍합니다. 이를 통해 수일이 아닌 수시간 내에 테라바이트 규모의 데이터를 이동할 수 있습니다.

2. 최적화된 CDC: 증분 복제의 경우 Postgres 논리 복제 슬롯을 활용하여 변경 사항을 캡처합니다. 그런 다음 AO 변환 및 zstd 압축과 같은 다양한 최적화를 적용하여 1분 미만의 지연 시간을 달성하여 기존 도구를 크게 능가합니다.

3. 네이티브 데이터 유형 지원: 지리 공간 데이터와 같은 풍부한 Postgres 데이터 유형이 네이티브 형식으로 원활하게 복제되어 비용이 많이 드는 변환이 필요 없습니다.

PeerDB는 Postgres에서 데이터 웨어하우스, 큐, 스토리지로 데이터를 복제하는 강력하고 고성능의 솔루션을 제공하도록 설계되었습니다. PeerDB의 주요 기능 및 기술적 장점은 다음과 같습니다:

1. 병렬 스냅샷팅: PeerDB는 고유한 병렬 스냅샷팅 기술을 사용하여 다른 일반화된 ETL 도구에서 볼 수 있는 수일이 아닌 수시간 내에 Postgres에서 대상으로 테라바이트 규모의 데이터를 이동할 수 있습니다.

2. 저지연 증분 복제: PeerDB는 Postgres의 논리 복제 슬롯을 활용하여 기존 도구의 5분 최소 지연 시간보다 훨씬 빠른 1분 미만의 지연 시간으로 증분 데이터 복제를 달성합니다.

3. 네이티브 데이터 유형 지원: PeerDB는 지리 공간 데이터와 같은 Postgres의 풍부한 데이터 유형이 대상에 네이티브 형식으로 보존 및 복제되도록 합니다.

PeerDB는 Postgres에서 데이터 웨어하우스, 큐, 스토리지로 데이터를 복제하는 강력하고 고성능의 솔루션을 제공하도록 설계되었습니다. PeerDB의 주요 기능 및 기술적 장점은 다음과 같습니다:

1. 병렬 스냅샷팅: PeerDB는 Postgres 테이블을 내부 식별자를 기반으로 분할하고 데이터를 병렬로 스트리밍하여 수일이 아닌 수시간 내에 테라바이트 규모의 데이터를 이동할 수 있습니다.

2. 저지연 증분 복제: PeerDB는 Postgres의 논리 복제 슬롯을 활용하여 1분 미만의 지연 시간으로 증분 데이터 복제를 달성합니다.

3. 네이티브 데이터 유형 지원: PeerDB는 지리 공간 데이터와 같은 Postgres의 풍부한 데이터 유형이 대상에 네이티브 형식으로 보존 및 복제되도록 합니다.

PeerDB는 Postgres에서 데이터 웨어하우스, 큐, 스토리지로 데이터를 복제하는 강력하고 고성능의 솔루션을 제공하도록 설계되었습니다. PeerDB의 주요 기능 및 기술적 장점은 다음과 같습니다:

1. 병렬 스냅샷팅: PeerDB는 Postgres 테이블을 내부 식별자를 기반으로 분할하고 데이터를 병렬로 스트리밍하여 수일이 아닌 수시간 내에 테라바이트 규모의 데이터를 이동할 수 있습니다.

2. 저지연 증분 복제: PeerDB는 Postgres의 논리 복제 슬롯을 활용하여 1분 미만의 지연 시간으로 증분 데이터 복제를 달성합니다.

3. 네이티브 데이터 유형 지원: PeerDB는 지리 공간 데이터와 같은 Postgres의 풍부한 데이터 유형이 대상에 네이티브 형식으로 보존 및 복제되도록 합니다.

PeerDB의 오픈 소스 접근 방식은 팀의 배경과 Postgres에 대한 데이터 이동 도구를 구축한다는 사실로 인해 당연한 선택이었습니다. PeerDB를 오픈 소스화한 결과 얻은 이점은 다음과 같습니다:

1. 검증: PeerDB는 오픈 소스 버전을 사용하는 대규모 프로덕션 워크로드가 있어 제품에 대한 실제 수요가 있음을 검증했습니다.

2. 가시성: 오픈 소스 활동, 별, 커뮤니티 참여는 PeerDB의 가시성을 높이는 데 도움이 됩니다.

3. 신뢰: 오픈 소스 버전을 제공하면 고객들이 코드를 검토하고 PeerDB가 독점 소프트웨어에 묶여 있지 않다는 것을 확인할 수 있어 신뢰를 얻을 수 있습니다.

Sai는 팀을 운영하고 제품 중점 분야를 결정하면서 여러 가치 있는 교훈을 배웠습니다. 그는 창업가가 되면 제품, 영업, 마케팅, 투자자 관계 등 다양한 역할을 수행해야 한다고 강조합니다. 이러한 다양한 책임은 그의 이전 Microsoft와 Citus Data에서의 역할과는 큰 차이가 있습니다.

Sai는 멘토와 옹호자 네트워크에 의지하여 창업의 어려움을 극복합니다. 그는 투자자, 공동 창업자, 그리고 과거에 함께 일했던 사람들의 전문성을 활용합니다. 이러한 지원 체계는 현재의 실험이 성공할지 여부에 대한 불확실성을 헤쳐나가는 데 도움이 됩니다.

2024년까지 PeerDB는 Postgres에서 데이터 웨어하우스, 큐, 스토리지로 데이터를 복제하는 세계 최고의 경험을 제공하는 것을 목표로 합니다. 주요 중점 분야는 다음과 같습니다:

1. 성능: PeerDB는 고객이 테라바이트 규모의 데이터를 빠르고 안정적으로 이동할 수 있도록 최고 수준의 성능을 제공할 것입니다.

2. 단순성: PeerDB는 사용자 경험에 중점을 두어 극도로 간단하게 사용할 수 있을 것입니다.

3. 비용 효율성: PeerDB는 비용 효율적이고 투명한 가격 정책을 제공하여 기존 도구의 고비용 및 예측 불가능한 가격 문제를 해결할 것입니다.