מטא שחררה את הדגם Llama3 שלהם, עוזר צ'אט AI דומה ל-GPT-4. התוצאות הראשוניות היו מרשימות מאוד, כאשר Llama3 ביצע היטב במגוון בנצ'מרקים. הגרסה בת 70 מיליארד הפרמטרים של Llama3 יכולה להיות מופעלת על מחשב שולחני חזק ושיגיע ל-82% במשימת הקוד HumanEval, שזה קרוב לביצועים של מערכות בעלות קניין רוחני מודרניות.

Llama3 ביצע גם היטב במבחן המדעי GPQA, מגיע לקרוב ל-40%, שזה מרשים מאוד. עם זאת, הביצועים שלו במשימות המתמקדות במתמטיקה אינם חזקים כל כך, עם ציון של 50%, בהשוואה ל-GPT-4 של OpenAI שיכול להשיג למעלה מ-70% במשימות מתמטיות דומות.

בנוסף, מטא עובדת על דגם גדול יותר בן כ-400 מיליארד פרמטרים, שצפוי להיות משופר משמעותית מעבר לגרסה בת 70 מיליארד הפרמטרים בכל המבחנים השונים. דגם גדול זה עדיין בשלבי פיתוח אך צפוי להשתחרר לפני סוף השנה.

הביצועים המרשימים של Llama3 ניכרים במיוחד מכיוון שזהו דגם בקוד פתוח, זמין בחינם לכולם להשתמש בו. זה בניגוד למערכות בעלות קניין רוחני כמו GPT-4, שאינן נגישות בחינם. העובדה ש-Llama3 ניתן להשוואה לגרסאות מוקדמות יותר של GPT-4 בכמה היבטים היא עדות להתקדמות של דגמי AI בקוד פתוח.

כאשר מדובר בהערכת ביצועי דגמי AI, בחירת הבנצ'מרקים היא קריטית. הבנצ'מרק האידיאלי צריך לאזן בין להיות מספיק מאתגר כדי להבדיל בין דגמים, אך לא כל כך קשה שהדגמים יתקשו לבצע היטב.

מבחנים עם שיעור הצלחה נמוך מ-10% בדרך כלל לא נחשבים טובים למבחן, מכיוון שקשה יותר להסיק מסקנות סטטיסטיות משמעותיות. מצד שני, מבחנים עם שיעור הצלחה של 80-85% או יותר עלולים להתחיל לאבד משמעות, מכיוון שהם עלולים להכיל שגיאות או לאפשר לדגמים פשוט לשכפל את התשובות הנכונות.

מבחן GPQA, המכסה מגוון של תחומים מדעיים כמו כימיה אורגנית, ביולוגיה מולקולרית ופיזיקה, מצוטט כדוגמה טובה למבחן מאתגר אך משמעותי. להשיג קרוב ל-40% במבחן זה נחשב מרשים מאוד.

כאשר מדובר בהערכת ביצועי דגמי AI עבור מקרי שימוש בעולם האמיתי, לוח הדירוג Arena מספק הערכה רלוונטית יותר. מבחן זה מודד את יכולות הדגמים לסייע במשימות שאנשים רגילים בדרך כלל היו מבצעים, ולא רק אתגרים אקדמיים או טכניים.

התובנות המרכזיות הן שמציאת האיזון הנכון בקושי הבנצ'מרק היא קריטית, וכי דגמי קוד פתוח כמו Llama3 מבצעים כעת באופן מרשים, לעתים מתחרים או אפילו עולים על מערכות בעלות קניין רוחני כמו GPT-4 במבחנים שונים.

Llama3, עוזר הצ'אט AI בקוד פתוח של מטא, הפגין ביצועים מרשימים במגוון בנצ'מרקים, מתחרה במערכות בעלות קניין רוחני כמו GPT-4. עם גרסה בת 70 מיליארד פרמטרים זמינה לשימוש על מחשבים שולחניים חזקים, Llama3 השיג 82% במשימת הקוד HumanEval, ו-40% מרשים במבחן המדעי GPQA המאתגר. בעוד שהביצועים במתמטיקה בציון של 50% נשארים מאחור מ-GPT-4 בציון של 70%, הדגם הבא בן 400 מיליארד הפרמטרים צפוי לשפר עוד יותר את התוצאות האלה.

לא פחות מרשים הוא Gemini 1.5 Pro של Google DeepMind, שהפגין ביצועים חזקים בלוח הדירוג Arena, אפילו עולה על גרסאות מוקדמות יותר של GPT-4 בכמה היבטים. היכולת של Gemini 1.5 Pro ללמוד מסרטים שלמים ומבסיסי קוד מבדילה אותו, והוא השיג מקום שני בכללי, וראשון למשימות עם פרומפטים ארוכים יותר.

זמינותם של עוזרי AI חזקים אלה, הן בקוד פתוח והן בעלי קניין רוחני, מסמנת התקדמות משמעותית בתחום. משתמשים יכולים כעת לגשת ל-Llama3 ו-Gemini 1.5 Pro בחינם, מחוץ לאיחוד האירופי, דרך פלטפורמות שונות, ולחוות את יכולות הדגמים החדשניים האלה בעצמם.

אתה יכול לנסות את הדגמים Llama3 ו-Gemini 1.5 Pro בחינם בדרכים הבאות:

1. Llama3:

   • למיטב ידיעת המחבר, אתה יכול לנסות את Llama3 באתר של מטא, אם אתה נמצא מחוץ לאירופה.
   • אתה יכול גם להוריד ולהפעיל את דגם Llama3 בכל מקום.
   • ישנם אתרים המארחים את Llama3, ואתה יכול לנסות אותו דרך פלטפורמות אלה. הקישורים מסופקים בתיאור הווידאו.

2. Gemini 1.5 Pro:

   • Gemini 1.5 Pro, שפותח על ידי Google DeepMind, זמין גם הוא לניסיון בחינם, מחוץ לאיחוד האירופי.
   • הקישור לגישה ל-Gemini 1.5 Pro מסופק בתיאור הווידאו.

המחבר מדגיש שהן Llama3 והן Gemini 1.5 Pro הם דגמי AI מרשימים, כמעט כמו מערכות בעלות קניין רוחני בתשלום, אך אתה יכול להשתמש בהם בחינם.

עוזרי AI משתפרים בקצב מדהים, והדגמים בקוד פתוח כמו Llama3 ו-Gemini 1.5 Pro כעת כמעט בעלי יכולות דומות למערכות בעלות קניין רוחני בתשלום, כמו GPT-4. דגמים אלה בקוד פתוח זמינים בחינם לכל אחד להשתמש בהם, שזו התפתחות מדהימה.

Llama3, הדגם בן 70 מיליארד הפרמטרים של מטא, מבצע באופן מרשים במגוון בנצ'מרקים, כולל המבחן המדעי המאתגר GPQA. בעוד שהוא עשוי להיות חלש יותר במתמטיקה מ-GPT-4, הוא עדיין מספק תוצאות מרשימות. יתרה מכך, הדגם הבא של Llama3 בן 400 מיליארד הפרמטרים צפוי לשפר עוד יותר את היכולות האלה.

בדומה לכך, Gemini 1.5 Pro של Google DeepMind הוא גם עוזר AI מסוגל מאוד, מתחרה בביצועים של גרסאות מוקדמות יותר של GPT-4. הוא מצטיין במיוחד במשימות הכוללות פרומפטים ארוכים והקשרים מורכבים, כמו צפייה בסרטים שלמים או למידה מבסיסי קוד.

זמינותם של דגמי AI בקוד פתוח אלה, שניתן לנסות אותם בחינם, היא ציון דרך משמעותי. זה מדמוקרטיזציה של הגישה לטכנולוגיית AI מתקדמת ומאפשר לכולם לחקור ולהנות מיכולות מרשימות אלה. זהו זמן נפלא להיות בחיים, כאשר אנו עדים להתקדמות המהירה של AI ולנגישות הולכת וגוברת של יכולות מדהימות אלה.