ה-CPU, או יחידת העיבוד המרכזית, נחשבת לרוב ל"מוח" של המחשב. היא אחראית על הפעלת מערכת ההפעלה, על האינטראקציה עם תוכניות שונות, ועל חיבור רכיבי חומרה שונים. עם זאת, ה-CPU אינם מתאימים במיוחד למשימות הדורשות חישוב מקביל מאסיבי, כמו משחקים או אימון של מודלים עמוקים של למידת מכונה.

זה המקום שבו ה-GPU, או יחידת עיבוד גרפי, נכנסים לתמונה. ל-GPU יש ארכיטקטורה שונה באופן יסודי לעומת ה-CPU. בעוד שה-CPU הדגל של אינטל, ה-i9, עשוי להיות בעל 24 ליבות, GPU כמו ה-Nvidia RTX 480 יכול להיות בעל כמעט 10,000 ליבות. הפרלליות המאסיבית הזו מאפשרת ל-GPU להצטיין במשימות שניתן לפרק אותן לתתי-משימות קטנות ובלתי תלויות, שניתן לבצע במקביל.

ההבדל המפתח בין ה-CPU וה-GPU הוא בגישה שלהם לביצוע המשימות. ה-CPU מתוכנן לעיבוד סדרתי וקווי, שבו הוא מבצע משימות אחת אחרי השנייה, גם אם הוא נראה כמבצע מספר משימות במקביל בשל מהירותו. ה-GPU, לעומת זאת, מאופטימיזציה לעיבוד מקביל, שבו הוא יכול לבצע מאות משימות במקביל.

ההבדל הזה בארכיטקטורה מודגם בדוגמאות של "ציור באמצעות CPU" ו"ציור באמצעות GPU". בהדגמת הציור באמצעות ה-CPU, המשימה של ציור המונה ליזה מבוצעת בסדר, כאשר כל שלב מבוצע אחרי השני. לעומת זאת, ההדגמה של ציור באמצעות ה-GPU מראה כיצד ניתן לפרק את אותה משימה לאלפי תתי-משימות בלתי תלויות, שאז מבוצעות במקביל, מה שמביא לזמן ביצוע מהיר הרבה יותר.

הסיבה שבגללה ה-GPU כל כך יעילים למשימות כמו משחקים ולמידת מכונה עמוקה היא שניתן לפרק משימות אלה בקלות לפרלליות. לדוגמה, במשחקים, כל פיקסל על המסך יכול להיות מחושב באופן עצמאי, מה שמאפשר ל-GPU לעבד אותם במקביל. באופן דומה, בלמידת מכונה עמוקה, האימון של רשת עצבים יכול להיות מחולק לחישובים עצמאיים קטנים יותר, שניתן לבצע במקביל על ה-GPU.

עם זאת, הטבע הסדרתי של הסקת מודלי שפה גדולים, שבו התחזית של כל מילה חדשה תלויה במילים הקודמות, מהווה אתגר עבור ה-GPU. זה המקום שבו ה-Grok LPU (יחידת עיבוד של מודלי שפה גדולים) נכנסת לתמונה. ה-Grok LPU מתוכננת במיוחד עבור הסקת מודלי שפה גדולים, עם ארכיטקטורה פשוטה יותר וזיכרון משותף ישיר בין כל יחידות העיבוד, מה שמאפשר ביצועים צפויים יותר ובעלי פיגור נמוך יותר בהשוואה ל-GPU.

לסיכום, ל-CPU וה-GPU יש ארכיטקטורות שונות באופן יסודי והם מתאימים למשימות שונות. ה-CPU מצטיין בעיבוד סדרתי וקווי, בעוד שה-GPU מאופטימיזציה לעיבוד מקביל, מה שהופך אותם מתאימים יותר למשימות שניתן לפרק אותן בקלות, כמו משחקים ולמידת מכונה עמוקה. ה-Grok LPU, מצד שני, מתוכנן במיוחד עבור הסקת מודלי שפה גדולים, ופותר את האתגרים הנובעים מהטבע הסדרתי של משימה זו.