התחום של בינה מלאכותית היה סוער עם התפתחויות מרגשות, וזו הייתה שבוע מיוחד במיוחד. אנו ראינו את השחרור של LLaMA 3, המודל השפתי הגדול הפתוח-מקור הטוב ביותר עד כה, ועכשיו יש את הצגת דגמי Phi-3 מצוות ה-AI של מיקרוסופט.

Phi-3 הוא הדור השלישי של משפחת Phi, סדרה של מודלים חדשים וקטנים המנצלים את אותן טכניקות אימון כמו Phi-2. המטרה היא ליצור מודלים קטנים אך בעלי ביצועים גבוהים. עם השחרור של Phi-3, מיקרוסופט הציגה ארבעה מודלים חדשים תחת מטריה זו:

1. Phi-3 Mini: מודל עם חלון הקשר של 4K.
2. Phi-3 Mini 128K: מודל מרשים אפילו יותר עם חלון קשר עצום של 128K, למרות גודלו הקטן של רק 3.8B פרמטרים.
3. Phi-3 Small: מודל בעל 7B פרמטרים שעולה על מודלים כמו Megatron ו-LLaMA 3.
4. Phi-3 Medium: מודל בעל 14B פרמטרים שעולה על ביצועי GPT-3.5 ו-Megatron במגוון בנצ'מרקים, כולל MML Benchmark, המעריך משימות טווח רב.

משפחת המודלים Phi-3 מורכבת מארבעה מודלים שונים, כל אחד עם מפרטים טכניים משלו:

1. Phi-3 Mini:

   • מבוסס על אדריכלות מפענח Transformer
   • אורך הקשר ברירת המחדל של 4,000 אסימונים
   • זמין גם בגרסה עם הקשר ארוך יותר, Phi-3 Mini 128k, המאריך את אורך ההקשר ל-128,000 אסימונים באמצעות הגישה Long Range
   • משתף את אותו מבנה בלוק ומפענח אסימונים כמו מודל Llama 2

2. Phi-3 Small:

   • מודל בעל 7 מיליארד פרמטרים
   • מנצל את אותו מפענח אסימונים ואדריכלות כמו מודלי Phi-3 Mini
   • אורך הקשר ברירת המחדל של 8,000 אסימונים

3. Phi-3 Medium:

   • מודל בעל 14 מיליארד פרמטרים
   • שומר על אותו מפענח אסימונים ואדריכלות כמו מודל Phi-3 Mini
   • אומן על מערכת נתונים קצת גדולה יותר בהשוואה למודלים הקטנים יותר

4. Phi-3 Mini (4-bit Quantized):

   • גרסה מכווננת של מודל Phi-3 Mini
   • מיועד להטמעה יעילה במכשירים ניידים, כמו iPhone 14 עם שבב A16 Bionic
   • מסוגל לייצר למעלה מ-12 אסימונים בשנייה על iPhone 14

שחרור מודלי Phi-3 מצוות ה-AI של מיקרוסופט היה התפתחות משמעותית בתחום הבינה המלאכותית. מודלים אלה, שהם הדור השלישי של משפחת Phi, משתמשים באותן טכניקות אימון כמו Phi-2 כדי ליצור מודלים שפתיים קטנים אך בעלי ביצועים גבוהים.

סדרת Phi-3 כוללת ארבעה מודלים שונים, כל אחד עם יכולות ומאפייני ביצועים ייחודיים:

1. Phi-3 Mini: מודל זה מציג חלון הקשר של 4K, מדגים יעילות מרשימה בגודל קומפקטי.
2. Phi-3 Mini 128K: דוחף את הגבולות, מודל זה מתהדר בחלון הקשר עצום של 128K, הישג מרשים עבור מודל בגודלו.
3. Phi-3 Small: מודל תצוגה מקדימה זה כבר עלה על ביצועי מודלים גדולים יותר כמו Megatron ו-LLaMA 3.
4. Phi-3 Medium: הגדול ביותר במשפחת Phi-3, מודל זה בעל 14 מיליארד פרמטרים עולה על GPT-3.5 ו-Megatron 8.7B במגוון בנצ'מרקים.

כל ארבעת מודלי Phi-3 - Phi-3 Mini, Phi-3 Mini 128k, Phi-3 Small ו-Phi-3 Medium - ניתנים לגישה והטמעה בכמה דרכים שונות:

1. באמצעות Hugging Face: כל ארבעת מודלי Phi-3 זמינים בHugging Face Hub. ניתן להשתמש בספריית Hugging Face Transformers כדי לטעון ולהשתמש במודלים אלה ביישומי Python שלך.

2. התקנה מקומית עם LLM Studio: ניתן גם להתקין את מודלי Phi-3 באופן מקומי באמצעות LLM Studio. פשוט העתק את כרטיס המודל, פתח את LLM Studio, והדבק את כרטיס המודל בלשונית החיפוש. לאחר מכן, לחץ על הכפתור ההתקנה כדי להוריד ולהגדיר את המודל במחשב המקומי שלך.

3. הטמעה במכשירים ניידים: אחד היתרונות המרכזיים של מודלי Phi-3 הוא היכולת להריץ אותם ביעילות על מכשירים ניידים. הגרסה המכווננת ל-4 סיביות של Phi-3 Mini הוכיחה יכולת לייצר למעלה מ-12 אסימונים בשנייה על iPhone 14 עם שבב A16 Bionic.

מודל השפה Phi-3 מצוות ה-AI של מיקרוסופט הוא כלי עצמתי שניתן לנצל למגוון שימושים. על אף גודלו הקומפקטי, Phi-3 הפגין ביצועים מרשימים במגוון בנצ'מרקים, לעתים עולה על מודלים גדולים יותר כמו GPT-3.

חוזק מרכזי של Phi-3 הוא היעילות שלו, מאפשרת לו להיות מוטמע במכשירים ניידים וסביבות מוגבלות במשאבים אחרות. זה הופך אותו מתאים לשימושים שבהם נדרשות תגובות מהירות, כמו עוזרים וירטואליים או צ'אטבוטים.

בנוסף, ביצועיו החזקים במשימות מבוססות ידע הופכים אותו לנכס חשוב עבור מערכות שאלות ותשובות, סיכום תוכן ואחזור מידע. מפתחים יכולים לשלב את Phi-3 ביישומים שלהם כדי לספק למשתמשים תשובות קצרות ומדויקות לשאלותיהם.

יתרה מכך, זמינות המודלים הקטנים יותר של Phi-3, כמו Phi-3 Mini ו-Phi-3 Small, פותחת הזדמנויות למפתחים לנסות גדלים שונים של מודלים ולמצוא את האיזון הנכון בין ביצועים ודרישות משאבים עבור המקרי השימוש הספציפיים שלהם.

בעוד שמודל Phi-3 הפגין ביצועים מרשימים במגוון בנצ'מרקים, חשוב להתחשב במגבלות ובמקרי השימוש שבהם הוא עשוי שלא להיות האופציה האופטימלית. כפי שצוין בסרטון, מודל Phi-3 מיועד בעיקר למשימות מבוססות ידע כללי ושאלות ותשובות, ולא לייצור קוד מורכב או פתרון בעיות.

עבור משימות הדורשות הסקה מתקדמת יותר, כמו בניית יישומי תוכנה מורכבים או פתרון בעיות מסובכות, מודל Phi-3 עשוי שלא להיות האופציה הטובה ביותר. במקרים כאלה, מודלי שפה גדולים ומתמחים יותר, כמו GPT-3 או LLaMA, עשויים להיות מתאימים יותר מכיוון שהם אומנו על מגוון נתונים רחב יותר ויכולים לטפל במשימות מורכבות יותר.

בנוסף, מודל Phi-3, על אף גודלו הקומפקטי, עדיין עשוי לדרוש משאבי חישוב משמעותיים להטמעה, במיוחד במכשירים ניידים או בסביבות מוגבלות במשאבים. במקרים כאלה, אפילו מודלים קטנים יותר כמו Phi-3 Mini או Phi-3 Small עשויים להיות מתאימים יותר, מכיוון שהם יכולים לספק איזון בין ביצועים ליעילות.

חשוב גם לציין שביצועי מודלי שפה יכולים להיות תלויים מאוד במשימה הספציפית ובמערכת הנתונים ששימשה להערכה. בעוד שמודל Phi-3 הפגין תוצאות מבטיחות בבנצ'מרקים שצוינו, ביצועיו עשויים להשתנות ביישומים בעולם האמיתי או במשימות שונות.

שחרור משפחת המודלים 5-3 מצוות ה-AI של מיקרוסופט הוא התפתחות משמעותית בעולם מודלי השפה הגדולים. מודלים קומפקטיים אלה, בעלי ביצועים גבוהים, מציעים יכולות מרשימות, לעתים עולים על מודלים גדולים יותר כמו GPT-3.5 ו-Megatron במגוון בנצ'מרקים.

מודל 5-3 Mini, עם חלון הקשר של 4K ו-3.8B פרמטרים, הוא מיוחד במיוחד, מדגים את הפוטנציאל להטמעת מודלי שפה עצמתיים במכשירים ניידים. הגרסה המורחבת של 128K עבור 5-3 Mini היא גם הישג מרשים, מציגה את ההתקדמות באדריכלות המודל וטכניקות האימון.

בעוד שמודלי 5-3 אינם מיועדים בעיקר למשימות קידוד או הסקה מורכבות, הם מצטיינים בשאילתות מבוססות ידע כללי ויכולים להשתלב בצורה יעילה במערכות שאלות ותשובות או להיות מזווגים עם אלגוריתמים כמו RAG. היעילות והביצועים שלהם הופכים אותם לתוספת ערכית למערכת ה-AI.

באופן כללי, שחרור מודלי 5-3 הוא עדות להתקדמות המהירה בתחום מודלי השפה הגדולים, ויהיה מרתק לראות כיצד מודלים קומפקטיים אך בעלי יכולות אלה ינוצלו ביישומים שונים בהמשך.