לפי בינדו, המנכ"ל של Abacus AI, הדגם Smaug 70b עדיף בהרבה מהדגם הקודם הטוב ביותר של קוד פתוח, LLaMA 37b. Smaug 70b עולה על LLaMA 37b ו-GPT-4 Turbo בפני מגוון בנצ'מרקים, כולל ציוני MT bench וציוני קושי Arena.

דגם Smaug 70b קיבל ציון 56.7 ב-MT bench, בעוד שLLaMA 37b קיבל ציון 41.1. זה מדגים את השיפור ביכולת ההסקה והיכולות של דגם Smaug 70b בהשוואה לקודמו.

כדי לבחון את הדגם עוד יותר, המחבר הוריד גרסה מקוטנזת של 7 מיליארד פרמטרים של דגם Smaug והריץ אותה מקומית באמצעות LM Studio. הדגם הקטן יותר הצליח ליצור משחק Snake פעיל, מדגים את גמישותו וביצועיו.

הפרוטוקול מצביע על כך שהמחבר בדק שתי גרסאות של דגם Smog, גרסה בת 70 מיליארד פרמטרים ללא קיטון וגרסה בת 7 מיליארד פרמטרים מקוטנזת, במגוון משימות. להלן תקציר הנקודות המרכזיות:

• המחבר בדק תחילה את היכולת של שתי הדגמים להפיק מספרים מ-1 עד 100 בסקריפט Python, וכל הדגמים הצליחו בכך בהצלחה.
• לאחר מכן, המחבר בדק את יכולת הדגמים ליצור משחק Snake בפייתון. הדגם המקוטנז הקטן בן 7 מיליארד הפרמטרים הצליח ליצור משחק Snake פעיל בניסיון הראשון, בעוד הגרסה הגדולה בת 70 מיליארד הפרמטרים נתקלה בבעיות ולא הצליחה ליצור משחק פעיל.
• המחבר ניסה לגרום לדגם הגדול ליצור משחק Snake באמצעות הספרייה pygame, אך גם בזה הוא לא הצליח.
• המחבר הסיק שהדגם המקוטנז הקטן ביצע טוב יותר במשימת משחק Snake בהשוואה לגרסה הגדולה ללא קיטון.

הדגם ביצע היטב במגוון בעיות מתמטיות ובעיות מילוליות, מדגים את יכולותיו בתחום ההסקה הכמותית ופתרון בעיות. כמה נקודות בולטות:

• הדגם הצליח לפתור בהצלחה בעיות חשבון פשוטות כמו "25 - 4 * 2 + 3" ולספק את ההסבר השלבי.
• בבעיית מילולית הנוגעת לחיובי מלון, הדגם זיהה את הנוסחה הנכונה לחישוב העלות הכוללת, כולל מס ועמלות.
• כשנתבקש להסביר את ההיגיון מאחורי חידת היגיון מסובכת על רוצחים בחדר, הדגם המקומי הקטן סיפק תגובה מבינה ומדויקת יותר בהשוואה לגרסה הגדולה המבוססת על ענן.
• הדגם המקומי הקטן אף עלה על הגדול בבעיית פרופורציה פשוטה על ייבוש חולצות.
• שני הדגמים התמודדו היטב עם משימות תכנות בסיסיות כמו הפקת רצף מספרים ובניית משחק Snake פשוט.

באופן כללי, התוצאות מדגימות את היכולות החזקות של הדגם בתחום ההסקה המתמטית ופתרון בעיות, כאשר הגרסה המקומית הקטנה לפעמים עולה על הגרסה הגדולה המבוססת על ענן. זה מציע שניתן להשיג הסקה כמותית באיכות גבוהה גם עם פריסות מודל קומפקטיות וקיצוניות יותר.

תרחיש הכדור בכוס הוא חידת היגיון קלאסית שבודקת את היכולת להסיק על העולם הפיזי ולהסיק מסקנות הגיוניות. במקרה זה, התרחיש כולל הנחת כדור בכוס, הפיכת הכוס ושמה על השולחן, ולאחר מכן הרמת הכוס והנחתה במיקרוגל.

המפתח לפתרון חידה זו הוא להבין שמיקום הכדור ביחס לכוס אינו משתנה לאורך הפעולות המתוארות. גם כאשר הכוס מופכת ומועברת, הכדור נשאר בתחתית הכוס, שעכשיו פונה כלפי מעלה.

כאשר הכוס מונחת במיקרוגל, הכדור עדיין נמצא בתוך הכוס, מכיוון שהפעולות שבוצעו לא גרמו לכדור לצאת מהכוס. זהו התשובה הנכונה, מכיוון שהכדור נשאר באותו מיקום בתוך הכוס לאורך כל רצף האירועים.

ג'ון, שהניח את הכדור בקופסה לפני שהלך לעבודה, יניח שהכדור עדיין בקופסה.

מארק, שהניח את הכדור בסל בזמן שג'ון היה מחוץ לבית, יניח שהכדור בסל.

מכיוון שלג'ון ולמארק יש הנחות שונות לגבי מיקום הכדור, מיקום הסופי של הכדור אינו ברור על סמך המידע שסופק.

הדגם הגדול הצליח ליצור 10 משפטים שכולם הסתיימו במילה "תפוח":

1. התפוח הבשל והמיצי היה תענוג לאכול.
2. ג'ון זרק את התפוח הבשל לתוך הסל.
3. עץ התפוחים בחצר האחורית היה מלא בפירות.
4. היא פרסה את התפוח והוסיפה אותו לסלט.
5. עוגת התפוחים החמה מילאה את המטבח בניחוח מפתה.
6. המורה חילקה תפוח אדום מבריק לכל תלמיד.
7. התפוח המצופה בקרמל היה פריט פופולרי בירידה המחוזית.
8. המיץ התפוחים היה הליווי המושלם לעלי הסתיו.
9. עלי פריחת התפוח ריקדו בגבעה הרכה.
10. הילד הצעיר בחש בתפוח הירוק בחדווה.

כדי לחשב את הזמן שיידרש ל-50 אנשים לחפור חור יחיד בעומק של 10 רגל, אפשר להשתמש בגישה פרופורציונלית:

• לאדם אחד לוקח 5 שעות לחפור חור בעומק של 10 רגל
• לכן, ל-50 אנשים יידרש 1/50 מהזמן, שהוא 6 דקות

ההיגיון הוא כדלקמן:

• אם לאדם אחד לוקח 5 שעות, אז ל-50 אנשים יידרש 1/50 מהזמן, שהוא 5 שעות / 50 = 0.1 שעות = 6 דקות.
• זמן החפירה הוא יחסי הפוך למספר האנשים, כך שהכפלת מספר האנשים מחצית את זמן החפירה.

לכן, ל-50 אנשים יידרשו 6 דקות לחפור חור יחיד בעומק של 10 רגל.