根據 Abacus AI 的 CEO Bindu 的說法,Smaug 70b 模型明顯優於之前最好的開源模型 LLaMA 37b。Smaug 70b 在各種基準測試中,包括 MT bench 和 Arena hard 分數,都優於 LLaMA 37b 和 GPT-4 Turbo。

Smaug 70b 模型在 MT bench 上獲得 56.7 分,而 LLaMA 37b 獲得 41.1 分。這表明 Smaug 70b 模型的推理和能力比其前身有所提升。

為了進一步測試該模型,作者下載了一個 70 億參數量化版本的 Smaug 模型,並使用 LM Studio 在本地運行。這個較小的模型能夠成功創建一個可工作的 Snake 遊戲,展示了其多功能性和性能。

作者接著在 Abacus.com 上測試了更大的 70 億參數版本的 Smaug 模型。該模型能夠完成各種任務,如輸出 1 到 100 的數字和解決簡單的數學問題。但是,它在更複雜的任務上,如使用 Curses 庫創建 Snake 遊戲或提供邏輯難題的分步解決方案,表現不佳。

相比之下,在本地運行的 70 億參數量化模型在這些更複雜的任務上表現更好,突出了使用較小、優化的模型可能帶來的好處。

總的來說,Smaug 70b 模型在各種基準測試中都表現出令人印象深刻的性能,優於之前的最先進的 LLaMA 37b 模型。但是,作者的測試也表明,較小的量化版本的模型可能更適合某些用例,特別是在本地運行時。