הקודסטרל מאמבה היא מודל שפה גדול חדש שהושק על ידי Mistol AI, המתהדר ביותר מ-7 מיליארד פרמטרים. מודל זה, המתמקד בקוד, מבוסס על אדריכלות המאמבה ונמצא תחת רישיון Patchy 2.0, המאפשר שימוש מסחרי.

אחת התכונות המרכזיות של הקודסטרל מאמבה היא חלון ההקשר הגדול של 256k אסימונים, שהוא גדול בהרבה מהמודל של Mistol בעל 7 מיליארד הפרמטרים. זה מאפשר הסקה מהירה יותר במשימות הקשר גדולות, הופך אותו לכלי עצמתי עבור יישומים הקשורים לקוד.

בעוד שמודלים קטנים כמו המודל של Mistol בעל 7 מיליארד הפרמטרים עשויים שלא להתאים לביצועי מודלים גדולים יותר, הקודסטרל מאמבה מציע מהירות הסקה מהירה יותר ועלויות חישוב נמוכות יותר. במדדי הערכה אנושית, הקודסטרל מאמבה קיבל ציון של 75%, עובר את מודלים גדולים יותר כמו GPT-4 Omni.

Mistol AI שחרר גם מודל אחר, מודל Mistol בעל 7 מיליארד פרמטרים, שהוא כרגע המודל המבוסס על מתמטיקה הטוב ביותר בקוד פתוח. מודל הקודסטרל מאמבה בעל 7 מיליארד פרמטרים גם משיג אחד הציונים הטובים ביותר בין המודלים בטווח שלו.

בעקבות שחרור משפחת Mistol, הקודסטרל מאמבה מייצג צעד נוסף בניסיונם לחקור ולספק אדריכלות חדשה. זוהי משפחה חדשה המתמקדת יותר בהיבטי התכנות והיא זמינה בחינם, מאפשרת לך לשנות ולהפיץ אותה. מודל זה תוכנן בעזרת אלברט גו וTR da, והוא שונה ממודלי Transformer על ידי הצעת הסקה בזמן לינארי והפוטנציאל לדגם רצפים וגם אורך אינסופי, מה שהופך אותו יעיל יותר להשתתפות משתמש נרחבת ותגובות מהירות יותר.

מודל הקודסטרל מאמבה הוכשר עם יכולות קוד ותיקון מתקדמות, מאפשר לו לבצע ברמה דומה למודלי Transformer מהמצב הטוב ביותר. מבחינת מדדי ביצועים, מודל זה בעל 7 מיליארד פרמטרים עובר מודלים כמו Codegamma, Codelama 7B ו-DeepSeed גרסה 1.5 7B ברוב הבנצ'מרקים. בעוד שהוא עשוי לא להתעלות על המודל הגדול יותר של Codestral בעל 22 מיליארד פרמטרים, הוא יחסית קרוב ואפילו עושה עבודה סבירה בהשוואה למודל Codelama בעל 34 מיליארד פרמטרים מ-Meta AI.

תכונה בולטת של הקודסטרל מאמבה היא היכולת שלו לטפל בחלונות הקשר של עד 256k אסימונים, הופך אותו לאפקטיבי מאוד כעוזר קוד מקומי. אתה יכול להטמיע את הקודסטרל מאמבה באמצעות פלטפורמות שונות, כולל ערכת הסקה של Mistol, מודל שפת גדול של NVIDIA's TensorRT ותמיכה עתידית ב-LLaMA CPP. בנוסף, אתה יכול להוריד את המשקלים הגולמיים מ-Hugging Face.

ישנם מספר דרכים לגשת ולהשתמש במודל הקודסטרל מאמבה:

1. פלטפורמת Mistol AI: אתה יכול לבקש גישה למודל הקודסטרל מאמבה דרך פלטפורמת Mistol AI. לאחר אימות מספר הטלפון שלך, תוכל לגשת למפתח API ולהשתמש במודל בדרכים שונות.

2. צ'אט Mistol AI: ממשק הצ'אט של Mistol AI מאפשר לך לגשת לכל המודלים שלהם, כולל מודל הקודסטרל מאמבה. בתוך 24 השעות הקרובות, תוכל לבחור במודל הקודסטרל מאמבה ולהתחיל לשוחח איתו.

3. התקנה מקומית: כדי להתקין את מודל הקודסטרל מאמבה באופן מקומי, אתה יכול להשתמש בכלים כמו LLM Studio. LLM Studio מקל על הרצת מודלי שפה גדולים בקוד פתוח באופן מקומי. לאחר ההתקנה, תוכל לטעון את מודל הקודסטרל מאמבה ולהתחיל לאזור איתו בממשק הצ'אט.

4. ערכת הסקה של Mistol: Mistol AI מספקת ערכת הסקה שאתה יכול להשתמש בה להטמעת מודל הקודסטרל מאמבה. ערכת SDK זו מסתמכת על היישום המקורי מהמאגר GitHub שלהם.

5. NVIDIA Tensor RT: אתה יכול גם להטמיע את מודל הקודסטרל מאמבה באמצעות מודל שפת גדול של NVIDIA's Tensor RT.

6. LLaMA CPP: Mistol AI שחרר לאחרונה תמיכה ב-LLaMA CPP, המאפשרת לך להשתמש במשקלים הגולמיים של מודל הקודסטרל מאמבה שניתן להוריד מ-Hugging Face.

מודל הקודסטרל מאמבה מתוכנן להיות מועיל במיוחד לפרודוקטיביות קוד, הודות ליכולות הקוד והתיקון המתקדמות שלו. ההסקה בזמן לינארי והיכולת לדגם תוכן רצפתי ובלתי מוגבל הופכים אותו ליעיל עבור השתתפות משתמש נרחבת ותגובות מהירות יותר.

מודל הקוד סטרול מאמבה מייצג התקדמות משמעותית בתחום מודלי השפה הגדולים, בעיקר בתחום היכולות הקוד והתיקון. עם 7 מיליארד פרמטרים, המודל עובר את רבים מהעמיתים הקטנים שלו במגוון בנצ'מרקים, מציג ביצועים מרשימים.

אחד הנקודות הבולטות של הקוד סטרול מאמבה היא היכולת שלו לטפל בהשתתפות משתמש נרחבת ולספק תגובות מהירות יותר, הודות להסקה בזמן לינארי והפוטנציאל לדגם תוכן רצפתי וגם אינסופי. זה הופך אותו לבחירה מצוינת עבור יישומים הדורשים עיבוד שפה יעיל ומהיר, כמו כלי פרודוקטיביות קוד ועוזרי קוד מקומיים.

זמינות המודל תחת רישיון Pachi 2.0, המאפשר שימוש מסחרי, מגבירה עוד את נגישותו ופוטנציאל היישומים בעולם האמיתי. בנוסף, אפשרויות ההטמעה השונות, כולל ערכת ההסקה של Mistol, TensorRT של NVIDIA והתמיכה הקרובה ב-llama-cpp, מספקות למפתחים גמישות בשילוב הקוד סטרול מאמבה בפרויקטים שלהם.

בכללות, הקוד סטרול מאמבה הוא תוספת מבטיחה למשפחת Mistol AI, המציעה גישה אדריכלית חדשה המתמקדת ביכולות קוד ותיקון. ככל שהמודל יהפוך זמין יותר, יהיה מעניין לראות כיצד הוא ינוצל על ידי מפתחים וחוקרים כדי להרחיב את גבולות היישומים המבוססי שפה.