Laut Bindu, der CEO von Abacus AI, ist das Smaug 70b-Modell deutlich besser als das bisherige beste Open-Source-Modell, LLaMA 37b. Smaug 70b übertrifft LLaMA 37b und GPT-4 Turbo in verschiedenen Benchmarks, einschließlich MT-Bench und Arena-Hard-Scores.

Das Smaug 70b-Modell erzielte auf dem MT-Bench einen Wert von 56,7, während LLaMA 37b 41,1 erreichte. Dies zeigt die verbesserte Reasoning-Fähigkeit und Leistungsfähigkeit des Smaug 70b-Modells im Vergleich zu seinem Vorgänger.

Um das Modell weiter zu testen, hat der Autor eine 7-Milliarden-Parameter-quantisierte Version des Smaug-Modells heruntergeladen und lokal mit LM Studio ausgeführt. Das kleinere Modell konnte erfolgreich ein funktionierendes Snake-Spiel erstellen, was seine Vielseitigkeit und Leistungsfähigkeit zeigt.

Anschließend testete der Autor die größere 70-Milliarden-Parameter-Version des Smaug-Modells auf Abacus.com. Das Modell konnte verschiedene Aufgaben wie das Ausgeben der Zahlen 1 bis 100 und das Lösen einfacher Rechenaufgaben erfolgreich abschließen. Bei komplexeren Aufgaben wie dem Erstellen eines Snake-Spiels mit der Curses-Bibliothek oder der Bereitstellung einer schrittweisen Lösung für ein Logikrätsel hatte es jedoch Schwierigkeiten.

Im Gegensatz dazu schnitt die kleinere 7-Milliarden-Parameter-quantisierte Version, die lokal ausgeführt wurde, bei diesen komplexeren Aufgaben besser ab, was auf die möglichen Vorteile eines kleineren, optimierten Modells für bestimmte Anwendungen hinweist.

Insgesamt zeigt das Smaug 70b-Modell eine beeindruckende Leistung in verschiedenen Benchmarks und übertrifft das bisherige State-of-the-Art-Modell LLaMA 37b. Die Tests des Autors deuten jedoch darauf hin, dass die kleinere, quantisierte Version des Modells für bestimmte Anwendungsfälle, insbesondere bei der lokalen Ausführung, besser geeignet sein könnte.