Theo Bindu, CEO của Abacus AI, mô hình Smaug 70b đáng kể tốt hơn so với mô hình nguồn mở tốt nhất trước đây, LLaMA 37b. Smaug 70b vượt trội hơn LLaMA 37b và GPT-4 Turbo trên các tiêu chuẩn đánh giá khác nhau, bao gồm cả MT bench và Arena hard scores.

Mô hình Smaug 70b đạt điểm 56,7 trên MT bench, trong khi LLaMA 37b đạt 41,1. Điều này chứng tỏ khả năng lý luận và năng lực cải thiện của mô hình Smaug 70b so với phiên bản trước đó.

Để kiểm tra mô hình thêm, tác giả đã tải xuống phiên bản Smaug có 7 tỷ tham số được định lượng và chạy nó cục bộ bằng LM Studio. Mô hình nhỏ hơn này đã có thể tạo ra một trò chơi Snake hoạt động, thể hiện tính đa dạng và hiệu suất của nó.

Bản ghi chép cho thấy tác giả đã kiểm tra hai phiên bản của mô hình Smog, một phiên bản không được định lượng với 70 tỷ tham số và một phiên bản được định lượng với 7 tỷ tham số, trên các nhiệm vụ khác nhau. Dưới đây là tóm tắt các điểm chính:

• Tác giả đầu tiên kiểm tra khả năng của cả hai mô hình để xuất ra các số từ 1 đến 100 trong một script Python, cả hai mô hình đều có thể thực hiện thành công.
• Tiếp theo, tác giả kiểm tra khả năng của các mô hình trong việc tạo ra một trò chơi Snake trong Python. Mô hình nhỏ hơn với 7 tỷ tham số được định lượng đã có thể tạo ra một trò chơi Snake hoạt động ngay lần đầu tiên, trong khi phiên bản lớn hơn với 70 tỷ tham số gặp vấn đề và không thể tạo ra một trò chơi hoạt động.

Mô hình đã thể hiện tốt trên nhiều bài toán toán học và từ vựng, chứng tỏ khả năng của nó trong lý luận định lượng và giải quyết vấn đề. Một số điểm nổi bật:

• Mô hình có thể giải quyết chính xác các bài toán số học đơn giản như "25 - 4 * 2 + 3" và cung cấp lý do từng bước.
• Đối với một bài toán từ vựng liên quan đến chi phí khách sạn, mô hình đã xác định được công thức chính xác để tính tổng chi phí, bao gồm cả thuế và phí.
• Khi được yêu cầu giải thích lý do cho một câu đố logic phức tạp về những kẻ giết người trong một phòng, mô hình cục bộ nhỏ hơn đã cung cấp một phản hồi sâu sắc và chính xác hơn so với phiên bản lớn hơn trên nền tảng đám mây.

Sinh viên John, người đã đặt quả bóng vào hộp trước khi đi làm, sẽ giả định rằng quả bóng vẫn còn trong hộp.

Sinh viên Mark, người đã đặt quả bóng vào giỏ trong khi John không có mặt, sẽ giả định rằng quả bóng ở trong giỏ.

Vì cả John và Mark đều có những giả định khác nhau về vị trí của quả bóng, nên vị trí cuối cùng của quả bóng là không rõ ràng dựa trên thông tin được cung cấp.

Mô hình lớn hơn đã có thể tạo ra 10 câu, tất cả đều kết thúc bằng từ "Apple":

1. Quả táo giòn, ngọt ngào là một niềm vui khi ăn.
2. John ném quả táo chín vào giỏ.
3. Cây táo trong sân sau đầy trái.
4. Cô ấy cắt quả táo và thêm vào salad.
5. Bánh táo nóng lấp đầy nhà bếp với hương thơm tuyệt vời.
6. Cô giáo trao cho mỗi học sinh một quả táo đỏ sáng bóng.
7. Quả táo phủ caramel là một món ăn vặt được ưa chuộng tại hội chợ quận.
8. Nước ép táo là sự kết hợp hoàn hảo với những chiếc lá mùa thu.
9. Những cánh hoa táo nhảy múa trong làn gió nhẹ.
10. Cậu bé háo hức cắn một miếng quả táo xanh.