מיקסטרל AI שחרר לאחרונה מודל פתוח-משקל עצום, מיקסטרל 8x22B MoE, המתהדר ב-176 מיליארד פרמטרים. מודל זה הוא תערובת של שמונה מודלי מומחים, כל אחד עם 22 מיליארד פרמטרים, מה שמניב מודל שפה עוצמתי ורב-תכליתי.

ל-Mixtral 8x22B MoE יש מספר תכונות בולטות:

• אורך הקשר גדול: המודל יכול לתמוך עד 655,000 אסימונים, הרבה יותר מהדורות הקודמות.
• ביצועים מרשימים: אפילו בצורתו הבסיסית, המודל עולה על המודל הפתוח-משקל הטוב ביותר הקודם, Cair R+, במגוון בנצ'מרקים.
• זמינות מסחרית: המודל משוחרר תחת רישיון Apache 2.0, המאפשר שימוש מסחרי.
• אינטגרציה Hugging Face: המודל והמפענח שלו כבר זמינים על פלטפורמת Hugging Face, מה שהופך אותו נגיש לקהילת ה-AI הרחבה.

בעוד שנתוני ההדרכה הקדם-אימון והיכולות הרב-לשוניות של המודל עדיין לא ידועים, ההערכות הראשוניות מציעות שה-Mixtral 8x22B MoE הוא מודל שפה עוצמתי. ביצועיו מוערכים להיות בין היכולות של Chinchilla ו-GPT-4, אם כי משתמשים מוזמנים לבחון את המודל ביישומים שלהם לצורך הערכה מדויקת יותר.

אספקט בולט אחד של המודל הוא היכולת שלו לעקוב אחר הוראות ולספק תגובות רלוונטיות, אפילו בצורתו הבסיסית. זה מרמז שהמודל הודרך על כמות משמעותית של נתוני הוראה, מה שעשוי להוביל לתוצאות מרשימות אפילו יותר עם גרסאות מתוקנות.

然而, 需要注意的是, 模型的大尺寸和高资源需求可能会限制其可访问性。运行该模型需要大量的 GPU 内存,在 16 位精度下需要 260 GB 的 VRAM,在 4 位精度下需要 73 GB。这可能会给许多用户带来挑战,但模型功能的潜在优势可能会使那些拥有必要硬件资源的人觉得值得投资。