ב-PeerDB, המיקוד שלנו הוא על בניית הפתרון הטוב ביותר בעולם לשכפול נתונים מ-Postgres לאחסוני נתונים, תורים ואחסון. אנו מאמצים גישה של ארכיטקטורת עמית-לעמית, המאפשרת לנו לאפטם עמוקות את המחבר בין Postgres למערכת היעד.

חלק מהאתגורים הטכניים המרכזיים שפתרנו כוללים:

1. צילום מקביל: עבור טעינות נתונים ראשוניות, אנו מחלקים טבלאות Postgres גדולות על בסיס מזהים פנימיים וזורמים את הנתונים במקביל ליעד. זה מאפשר לנו להעביר טרה-בייטים של נתונים בשעות במקום בימים.

2. CDC מאופטם: עבור שכפול הדרגתי, אנו מנצלים חריצי שכפול逻辑של Postgres כדי ללכוד שינויים. לאחר מכן אנו מיישמים מגוון אופטימיזציות כמו המרה ל-AO וכיווץ zstd כדי להשיג פיגורים של פחות מדקה, הרבה מעבר לכלים הקיימים.

3. תמיכה בסוגי נתונים מקוריים: אנו מבטיחים שסוגי נתונים עשירים של Postgres כמו גיאוגרפיים מושכפלים באופן חלק ליעד בפורמט המקורי שלהם, מונעים את הצורך בהמרות יקרות.

הגישה שלנו לקוד פתוח הייתה בלתי נפרדת, מספקת נראות, אימות ואמון עם המשתמשים שלנו. בעוד שחלק ממשתמשינו בוחרים בגרסת הקוד הפתוח, רוב המשתמשים מעדיפים את השירות המנוהל שלנו, המציע תמיכה ברמת חברה ותכונות נוספות.

הבלוגינג היה חלק מרכזי באסטרטגיית השיווק שלנו. אנו מחלקים את התוכן שלנו לארבעה תחומים - עדכוני מוצר, תובנות קהילה/הנדסה ופריטים יצירתיים/מהנים. המטרה היא לבנות מודעות ומנהיגות מחשבתית לאורך זמן, במקום לצפות לתוצאות מיידיות.

כמייסד, אני לומד בקביעות - מניהול מגוון אחריויות עד לשיפור אסטרטגיית המוצר שלנו על בסיס משוב מלקוחות. המיקוד הנוכחי שלנו הוא על הצלחת מקרה השימוש של Postgres-to-warehouse, ואנו שואפים להפוך לכלי התנועה הנחוץ ביותר עבור Postgres בשנים הבאות.

בקנה מידה, לקוחות נתקלו במספר בעיות עם כלי תנועת נתונים קיימים בעת שכפול נתונים מ-PostgreSQL למאגרי נתונים:

1. ביצועים ואמינות: העברת נפחים גדולים של נתונים, כמו טרה-בייטים של נתונים או ניהול צי של מסדי נתונים PostgreSQL, היה איטי מאוד ולא אמין. טעינות ראשוניות וסנכרון מתמשך היו לוקחים מספר ימים והיו נשברים באמצע, דורשים התערבות ידנית.

2. תמיכה בתכונות: הכלים הקיימים לא תמכו באופן מקורי בהרבה מסוגי הנתונים העשירים והתכונות הזמינות ב-PostgreSQL, כמו סוגי נתונים גיאוגרפיים, עמודות JSON וחלוקה לחלקים. זה אילץ את הלקוחות לבצע המרות נוספות, מוסיף מורכבות ועומס.

3. עלות: מודלי התמחור של הכלים הקיימים, לעתים קרובות מבוססים על נפח הנתונים שהועברו או מספר השורות, הובילו לעלויות גבוהות ובלתי צפויות עבור לקוחות המריצים עומסי עבודה PostgreSQL בקנה מידה גדול.

אתגרים אלה הובילו את הלקוחות לפנות לפתרונות פנימיים באמצעות כלים קוד פתוח כמו Debezium, אשר, למרות שהיו פונקציונליים בקנה מידה, דרשו מאמץ הנדסי ומשאבים משמעותיים ליישום ותחזוקה.

כדי להתמודד עם בעיות אלה, צוות PDB פיתח ארכיטקטורת עמית-לעמית המתמקדת בהספקת פתרון תנועת נתונים עמיד, בעל ביצועים גבוהים ועשיר בתכונות, ספציפית עבור PostgreSQL. החידושים הטכניים המרכזיים כוללים:

• צילום מקביל: חלוקה לחלקים של טבלאות גדולות וזרימת הנתונים במקביל כדי לאפשר העברה של טרה-בייטים של נתונים בשעות במקום בימים.
• שכפול הדרגתי מאופטם: ניצול חריצי שכפול לוגי של PostgreSQL, ביצוע המרה ל-AO וכיווץ zstd כדי להשיג פיגורים של פחות מדקה.
• תמיכה בסוגי נתונים מקוריים: שמירה על סוגי נתונים עשירים, כמו נתונים גיאוגרפיים, על ידי המרתם לפורמטים המתאימים עבור מאגר הנתונים היעד.

על ידי התמודדות עם האתגרים המרכזיים שנתקלו בהם הלקוחות, PDB שואפת לספק את החוויה הטובה ביותר בעולם לשכפול נתונים מ-PostgreSQL למאגרי נתונים, תורים ואחסון.

PeerDB מתוכנן לספק פתרון עמיד ובעל ביצועים גבוהים לשכפול נתונים מ-PostgreSQL למאגרי נתונים, תורים ואחסון. חלק מהתכונות המרכזיות והיתרונות הטכניים של PeerDB כוללים:

1. צילום מקביל: PeerDB משתמש בטכניקת צילום מקבילית ייחודית כדי להעביר טרה-בייטים של נתונים מ-PostgreSQL ליעד בתוך שעות, במקום ימים, כפי שנראה בכלי ETL כלליים אחרים.

2. שכפול הדרגתי עם פיגור נמוך: PeerDB מנצל את חריצי השכפול הלוגי של PostgreSQL כדי להשיג שכפול נתונים הדרגתי עם פיגורים של פחות מדקה, מהר בהרבה מהפיגור המינימלי של 5 דקות של הכלים הקיימים.

3. תמיכה בסוגי נתונים מקוריים: PeerDB מבטיח ששמירה על סוגי נתונים עשירים ב-PostgreSQL, כמו נתונים גיאוגרפיים, נשמרת והם מושכפלים בפורמט המקורי ליעד, מונעת את הצורך בהמרות יקרות.

4. אופטימיזציות ביצועים: PeerDB מיישם מספר טכניקות לשיפור ביצועים, כולל המרת נתונים לפורמט Append-Optimized (AO) עבור Snowflake ושימוש בכיווץ zstd, אשר יכול לספק שיפור ביצועים של עד 30%.

5. מיזוגים מקבילים: בעת יישום שינויים ליעד, PeerDB מבצע מיזוגים מקבילים כדי להבטיח שכפול נתונים יעיל ובעל קצב גבוה.

6. ארכיטקטורת עמית-לעמית: בשונה ממודלי מרכז-ושולי המשמשים על ידי הרבה כלי ETL כלליים, ארכיטקטורת העמית-לעמית של PeerDB מאפשרת לה להתמקד בבניית מחבר עמיד ואיכותי בין PostgreSQL ליעדים ספציפיים, במקום לתמוך במגוון רחב של מחברים.

7. גישה קוד פתוח: PeerDB הוא פרויקט קוד פתוח, המספק שקיפות, בונה אמון עם לקוחות ומאפשר תרומות קהילה ואימות של יכולות הכלי.

על ידי התמודדות עם מגבלות הביצועים, האמינות והתכונות של כלי תנועת נתונים קיימים, PeerDB שואפת לספק חוויה עליונה ללקוחות הזקוקים לשכפול נתונים מ-PostgreSQL למאגרי הנתונים היעד שלהם, בין אם מדובר באנליטיקה בזמן אמת, גילוי הונאה או שימושים אחרים.

קוד פתוח היה בחירה טבעית עבור PeerDB, נוכח רקעי הצוות והעובדה שהם בונים כלי תנועת נתונים עבור PostgreSQL, שהוא לחלוטין קוד פתוח. ההטבות שהם ראו מהפצת PeerDB בקוד פתוח כוללות:

1. אימות: ל-PeerDB יש מספר עומסי עבודה בפרודקשן בקנה מידה גדול המשתמשים בגרסת הקוד הפתוח, המאמתים שיש צורך אמיתי במוצר שלהם.

2. נראות: הפעילות בקוד הפתוח, הכוכבים והמעורבות של הקהילה מסייעים להגביר את הנראות של PeerDB.

3. אמון: הצעת גרסת קוד פתוח בונה אמון עם לקוחות, מאחר שהם יכולים לבדוק את הקוד ולראות שPeerDB אינו קשור לתוכנה פרופריטרית.

היחס בין לקוחות קוד פתוח ללקוחות בתשלום משתנה בהתאם לרמת המורכבות של הכלי. עבור PeerDB, כ-2-3 מתוך 10 לקוחות משתמשים בגרסת הקוד הפתוח, בעוד שהשאר מעדיפים את השירות המנוהל או ההצעה העסקית עם תמיכה.

באשר לאסטרטגיית התוכן של PeerDB, הם מחלקים את הבלוג שלהם לארבעה תחומים עיקריים:

1. מוצר: עדכונים על תכונות חדשות ושחרורים.
2. קהילה: שיתוף לקחים ותובנות שהקהילה תמצא מועילות.
3. הנדסה: חדירה לפרטים הטכניים של בניית PeerDB.
4. הנאה: פוסטים קלילים ויצירתיים.

מטרת הבלוג היא להעלות את המודעות ל-PeerDB ולהציג את היתרונות שהוא מספק. בעוד שהשפעה מיידית עשויה שלא להיות נראית, הצוות ראה שהבלוג יכול להוביל ללקוחות שפונים אליהם לאחר 1-2 שנים של מעקב אחר התוכן.

לגבי העתיד של PeerDB, החזון של הצוות הוא להפוך אותו לכלי התנועת הנתונים הנחוץ ביותר עבור PostgreSQL, המספק את החוויה