ל-IBM יש היסטוריה ארוכה של תרומה לקוד פתוח והשימוש בו בהצעותיה. מסורת זו נמשכת עם Watson X, הפלטפורמה החדשה של IBM לעסקים לבינה מלאכותית ונתונים. על ידי אימוץ קוד פתוח, Watson X נהנית מהבינה המלאכותית, החדשנות והדגמים הטובים ביותר הזמינים.

השימוש בקוד פתוח ב-Watson X משתרע על שלושה היבטים עיקריים: הכשרת והערכת דגמים, כוונון והסקת דגמים, ואיסוף ואנליטיקה של נתונים.

לצורך הכשרת והערכת דגמים, Watson X מנצלת את הפרויקט הקוד הפתוח Codeflare. Codeflare מספק הפשטות ידידותיות למשתמש לקנה מידה, תורים והפצה של עומסי עבודה של למידת מכונה, תוך שילוב עם Ray, Kubernetes ו-PyTorch.

PyTorch, מסגרת הלמידה המכונית הקוד הפתוח, משמשת לייצוג הדגמים ב-Watson X. PyTorch מציע תכונות מפתח כמו תמיכה בטנזורים, האצה של GPU ואימון מבוזר, מאפשרים טיפול יעיל בדגמים גדולים ומורכבים.

לצורך כוונון והסקת דגמים, Watson X משתמשת בפרויקטי הקוד הפתוח KServe ו-Model Mesh. טכנולוגיות אלה מאפשרות שירות יעיל של אלפי דגמי בינה מלאכותית על פלטפורמת OpenShift. בנוסף, פרויקט הקוד הפתוח KKIT מספק APIs לכוונון הנחיות, משפר עוד את יכולות ההסקה.

לבסוף, לאיסוף ואנליטיקה של נתונים, Watson X מנצלת את מנוע השאילתות SQL הקוד הפתוח Presto. הביצועים הגבוהים, היכולת לקנה מידה ויכולת לשאול נתונים במקום בו הם נמצאים, הופכים את Presto לרכיב חשוב במערכת הנתונים של Watson X.

על ידי אימוץ טכנולוגיות קוד פתוח, Watson X נהנית מהבינה המלאכותית, החדשנות והדגמים הטובים ביותר הזמינים, מעצימה את המשתמשים לבנות ולהטמיע יישומים חכמים בקנה מידה גדול.

הכשרת והערכת דגמים יכולה לקחת כמות גדולה של משאבי קבוצה, במיוחד כאשר הדגמים הם דגמי Foundation ענקיים בעלי מיליארדי פרמטרים. כדי להשתמש ביעילות בקבוצה ולהקל על מדעני הנתונים, ל-IBM יש פרויקט קוד פתוח בשם Codeflare.

Codeflare מספק הפשטות ידידותיות למשתמש לקנה מידה, תורים והפצה של עומסי עבודה של למידת מכונה. הוא משלב את Ray, Kuberay ו-PyTorch כדי לספק את התכונות האלה. עם Ray, הוא מספק הפשטה של עבודה, ו-Kuberay מאפשר ל-Ray להריץ על פלטפורמות Kubernetes כמו OpenShift.

במקרה השימוש הטיפוסי של Codeflare, הוא תחילה מפעיל קבוצת Ray. מדען הנתונים יכול לאחר מכן להגיש עבודות הכשרה לקבוצה. אם קבוצת OpenShift משמשת באופן כבד והמשאבים אינם זמינים, Codeflare יכול לתור את העבודות ולהמתין עד שהמשאבים יהפכו זמינים. במקרים מסוימים, הוא אפילו יכול להגדיל את הקבוצה כדי להתאים את העומס. כאשר ההכשרה וההערכה הושלמו, Codeflare יכול למחוק את עבודות Ray ולהסירן מהקבוצה.

התועלת המפתחית של Codeflare היא שהוא מאפשר למדעני הנתונים להשתמש ביעילות בקבוצה, או אפילו בכמה קבוצות OpenShift, מבלי לדאוג לתשתית הבסיסית.

PyTorch מספק תכונות מפתח לייצוג דגמים, כולל תמיכה בטנזורים, תמיכה ב-GPU ואימון מבוזר.

טנזורים הם מערכים רב-ממדיים המאחסנים את הערכים המשוקללים או ההסתברויות שמתוקנים עם הזמן כדי לשפר את יכולות הניבוי של הדגם. התמיכה בטנזורים של PyTorch מאפשרת ייצוג יעיל של פרמטרי הדגם המורכבים האלה.

תמיכת ה-GPU של PyTorch מאפשרת חישוב יעיל מאוד במהלך אימון הדגם, שהוא קריטי עבור דגמים גדולים ומורכבים. בנוסף, יכולות האימון המבוזר של PyTorch מאפשרות אימון של דגמים שגדולים מדי להיכנס למכונה בודדת, על ידי חלוקת האימון על פני מספר מכונות.

תכונות מפתח אחרות של PyTorch לייצוג דגמים כוללות:

• יצירת רשתות נוירוניות: PyTorch מקל על יצירת סוגים שונים של רשתות נוירוניות.
• טעינת נתונים: PyTorch מספק יכולות טעינת נתונים קלות לשימוש.
• לולאות אימון: PyTorch כולל לולאות אימון מובנות המעדכנות ביעילות את פרמטרי הדגם לשיפור דיוק הניבוי.
• התאמות דגם: חישוב הגרדיאנט האוטומטי של PyTorch מפשט את התהליך של ביצוע התאמות קלות לדגם לשיפור ביצועיו.

על ידי ניצול היכולות הקוד הפתוח שמספק PyTorch, Watson X יכול לייצג ולאמן ביעילות דגמי בינה מלאכותית מורכבים כחלק מהפלטפורמה לעסקים לבינה מלאכותית ונתונים.

אנחנו רוצים להיות מסוגלים לשרת מספר גדול של דגמי בינה מלאכותית ולעשות זאת בקנה מידה גדול על OpenShift. הפרויקטים הקוד הפתוח שאנו מנצלים לכך הם KServ Model Mesh ו-KKit.

KServ Model Mesh מאפשר לנו לשרת ביעילות אלפי דגמים בפוד בודד. במקור, KServ יכול היה לשרת רק דגם אחד לפוד, שלא היה יעיל מאוד. על ידי מיזוג KServ עם פרויקט Model Mesh, אנו יכולים כעת לשרת מספרים גדולים של דגמים ביעילות על קבוצת OpenShift.

כדי למצוא את הדגמים האלה, אנו מנצלים את מאגר Hugging Face, שיש בו למעלה מ-200,000 דגמים קוד פתוח. ל-IBM יש שותפות עם Hugging Face, מה שהופך אותו למקור מצוין לדגמים להשתמש בהם בהצעות Watson X שלנו.

בנוסף, אנו משתמשים ב-KKit, פרויקט קוד פתוח המספק APIs לכוונון הנחיות. זה מאפשר לנו לכוונן את הדגמים בצד ההסקה כדי לשפר את התוצאות. ביחד, טכנולוגיות הקוד הפתוח האלה מאפשרות לנו לשרת ולכוונן מספר גדול של דגמי בינה מלאכותית בקנה מידה גדול על OpenShift, מניעות את יכולות ההסקה של הדגמים ב-Watson X.

Presto הוא הפרויקט הקוד הפתוח שאותו IBM מנצלת לאיסוף ואנליטיקה של נתונים ב-Watson X. Presto הוא מנוע שאילתות SQL בביצועים גבוהים המאפשר אנליטיקה פתוחה של נתונים ומניע את מאגר הנתונים הפתוח.

תכונות מפתח של Presto כוללות:

• ביצועים גבוהים: Presto הוא בר-קנה מידה גבוה ומספק ביצוע שאילתות מהיר, מה שהופך אותו מתאים היטב לאנליטיקה של נתונים בקנה מידה גדול.

• שאילתות מאוחדות: Presto מאפשר לשאול נתונים ממספר מקורות נתונים, מספק תצוגה מאוחדת של הנתונים שלך.

• שאילתת נתונים במקום בו הם נמצאים: Presto יכול לשאול נתונים ישירות במיקום המקור שלהם, מבטל את הצורך להעביר נתונים למאגר מרכזי.

בשימוש ב-Presto, Watson X יכול לאסוף ולנתח ביעילות נתונים ממגוון מקורות, מאפשר תובנות מונעות נתונים ומניע את יכולות הבינה המלאכותית והלמידה המכונית של הפלטפורמה.

ל-IBM יש היסטוריה עשירה של תרומה לקוד פתוח וניצול קוד פתוח בהצעותיה, ו-Watson X ממשיכה את המסורת הזו. Watson X היא הפלטפורמה החדשה של IBM לעסקים לבינה מלאכותית ונתונים, והיא מנצלת קוד פתוח כדי לספק את הבינה המלאכותית, החדשנות והדגמים הטובים ביותר.

הפרויקטים הקוד הפתוח המשמשים ב-Watson X משתרעים על מגוון היבטים של צינור הבינה המלאכותית והנתונים, כולל הכשרת והערכת דגמים, ייצוג דגמים, כוונון והסקת דגמים, ואיסוף ואנליטיקה של נתונים.

לצורך הכשרת והערכת דגמים, Watson X משתמשת בפרויקט הקוד הפתוח Codeflare, המספק הפשטות ידידותיות למשתמש לקנה מידה, תורים והפצה של עומסי עבודה של למידת מכונה. הוא משתלב עם Ray, Kubeflow ו-PyTorch כדי לאפשר שימוש יעיל במשאבי הקבוצה.

PyTorch הוא הפרויקט הקוד הפתוח המשמש לייצוג הדגמים ב-Watson X, מספק תכונות מפתח כמו תמיכה בטנזורים, תמיכה ב-GPU ויכולות אימון מבוזר.

לצורך כוונון והסקת דגמים, Watson X מנצלת את הפרויקטים הקוד הפתוח KServ Model Mesh ו-Hugging Face, המאפשרים שירות יעיל של אלפי דגמי בינה מלאכותית על קבוצת OpenShift. בנוסף, פרויקט הקוד הפתוח KKit מספק APIs לכוונון הנחיות לשיפור התוצאות.

לבסוף, לאיסוף ואנליטיקה של נתונים, Watson X משתמשת בפרויקט הקו