Die Ära der kleinen, hochleistungsfähigen Modelle ist hier. Diese Woche hat OpenAI GPT-4 Mini veröffentlicht, eine kleinere, schnellere und viel kostengünstigere Version von GPT-4. GPT-4 Mini kostet 15 Cent pro Million Eingabetokens und 60 Cent pro Million Ausgabetokens und ist damit 60% günstiger als GPT-3.5 Turbo.

GPT-4 Mini erzielt einen beeindruckenden Wert von 82% auf dem MLU-Benchmark und übertrifft derzeit GPT-4 bei den Chat-Präferenzen auf der LM Cy-Rangliste. Es unterstützt Text und Vision in der API, wobei Unterstützung für Text-, Bild-, Video- und Audioein- und -ausgaben in Zukunft hinzukommen werden. Das Modell hat ein Kontextfenster von 128.000 Tokens und Wissen bis Oktober 2023.

In den Leistungstests zeigte GPT-4 Mini seine Geschwindigkeit und Fähigkeiten. Es konnte schnell ein Python-Skript erstellen, um die Zahlen 1 bis 100 auszugeben, ein funktionierendes Snake-Spiel erstellen und verschiedene Logik- und Denkaufgaben lösen. Im Vergleich zu GPT-4 war GPT-4 Mini bei einigen Aufgaben bis zu dreimal schneller.

Wenn es jedoch um aufgaben mit Bezug zu Bildern ging, wie das Analysieren von Bildern und das Umwandeln eines Excel-Dokuments in CSV, brauchte GPT-4 Mini länger und verwendete deutlich mehr Tokens als GPT-4. Dies deutet darauf hin, dass für Aufgaben mit Bezug zu Bildern GPT-4 die bessere Wahl sein könnte, wenn Latenz ein Problem ist.

Insgesamt ist GPT-4 Mini eine bemerkenswerte Leistung von OpenAI und bietet beeindruckende Leistung zu einem Bruchteil der Kosten seines größeren Gegenstücks. Die Geschwindigkeit und Kosteneffizienz dieses Modells machen es zu einer überzeugenden Option für Entwickler und Unternehmen, die die Leistungsfähigkeit großer Sprachmodelle nutzen möchten, ohne die Bank zu sprengen.

Ich begann damit, die Fähigkeit von GPT-4 Mini zur Generierung einfacher Python-Skripts zu testen. Es konnte schnell und genau ein Skript ausgeben, um die Zahlen 1 bis 100 auszugeben. Als Nächstes bat ich es, das Spiel Snake in Python zu schreiben, und es lieferte in nur 5,8 Sekunden ein funktionierendes Skript, das 3-mal schneller war als GPT-4.

Dann testete ich seine Fähigkeit, mit sensibleren Eingaben umzugehen, wie z.B. wie man in ein Auto einbricht. Während GPT-4 Mini einige Informationen lieferte, weiß ich, dass dieser Typ von Inhalten wahrscheinlich bald behoben wird, also habe ich es als Fehlschlag markiert.

Bei logischeren und auf Reasoning basierenden Aufgaben schnitt GPT-4 Mini sehr gut ab. Es erklärte die Trocknungszeit für Hemden korrekt, löste ein einfaches Mathematikproblem und zählte sogar genau die Anzahl der Wörter in meiner vorherigen Antwort.

Wenn ich ihm ein klassisches Logikrätsel über Mörder in einem Raum vorlegte, lieferte GPT-4 Mini eine gründliche, schrittweise Erklärung, die der Antwort von GPT-4 entsprach.

Ich testete auch seine Fähigkeiten im Bereich Vision, indem ich es bat, ein Meme zu erklären und einen Excel-Screenshot in CSV-Format umzuwandeln. Während GPT-4 bei den Visionsaufgaben schneller war, konnte GPT-4 Mini sie dennoch erfolgreich abschließen.

Insgesamt bin ich sehr beeindruckt von den Fähigkeiten von GPT-4 Mini. Es hat sich über eine Vielzahl von Aufgaben hinweg bemerkenswert gut geschlagen und oft die Leistung des größeren GPT-4-Modells erreicht oder sogar übertroffen. Die Tatsache, dass es diese Qualität zu einem Bruchteil der Kosten liefern kann, ist eine beachtliche Leistung von OpenAI.

GPT-4 Mini zeigte im Laufe des Testprozesses beeindruckende Reasoning- und Logikfähigkeiten. Hier sind die Haupthöhepunkte:

• Löste das Python-Skript zur Ausgabe der Zahlen 1 bis 100 sowie die Implementierung des Snake-Spiels korrekt, was seine Programmierfertigkeiten unter Beweis stellte.
• Lieferte eine fundierte Erklärung für das Problem der Hemdentrocknung, indem es erkannte, dass die Trocknungszeit unabhängig von der Anzahl der Hemden ist.
• Berechnete die Gesamthotelkosten, einschließlich Zimmerpreis, Steuern und zusätzlicher Gebühren, korrekt.
• Identifizierte die Anzahl der Wörter in der gegebenen Antwort richtig und übertraf damit das größere GPT-4-Modell.
• Dachte logisch durch das "Mörder-Problem"-Szenario und identifizierte die korrekte Anzahl der verbleibenden Mörder.
• Zeigte ein starkes Verständnis des Murmel-Problems und konnte den endgültigen Standort der Murmel korrekt ableiten.

Während GPT-4 Mini bei einigen Aufgaben Schwierigkeiten hatte, wie den "10 Sätzen, die mit Apple enden" und der bildbasierten Bildanalyse, zeigte es insgesamt ein solides Verständnis von Reasoning und logischem Denken. Die Geschwindigkeit und Kosteneffizienz des Modells machen es zu einer überzeugenden Option für viele Anwendungen, die diese kognitiven Fähigkeiten priorisieren.

GPT-4 Mini zeigte bei den präsentierten Vision- und Bildverarbeitungsaufgaben eine beeindruckende Leistung. Hier sind die wichtigsten Erkenntnisse:

• Bildererklärung: Als ihm ein Meme gezeigt wurde, das die Dynamik von Start-ups und großen Unternehmen kontrastiert, erklärte GPT-4 Mini den Witz und die dargestellten Unterschiede korrekt.

• Bild-zu-CSV-Konvertierung: Als ihm ein Screenshot einer Excel-Tabelle präsentiert wurde, konnte GPT-4 Mini die Daten erfolgreich in ein CSV-Format konvertieren und zeigte damit seine Fähigkeit, visuelle Informationen zu verarbeiten und umzuwandeln.

• Speicheranalyse: Als ihm ein Screenshot der Speicheraufteilung eines iPhones gezeigt wurde, identifizierte GPT-4 Mini den verbleibenden Speicherplatz und die am meisten Speicherplatz beanspruchende App korrekt, was seine Fähigkeit demonstriert, relevante Informationen aus visuellen Daten zu extrahieren und zu interpretieren.

Die Analyse zeigte jedoch auch, dass GPT-4 Mini, obwohl es bei textbasierten Aufgaben hervorragend abschnitt, bei der Verarbeitung visueller Eingaben langsamer war und deutlich mehr Tokens benötigte als das größere GPT-4-Modell. Dies deutet darauf hin, dass für Anwendungen, die stark auf Vision und Bildverarbeitung angewiesen sind, das Standard-GPT-4-Modell die geeignetere Wahl sein könnte, da hier die Leistung Vorrang vor der Kosteneffizienz von GPT-4 Mini hat.

Insgesamt heben die Ergebnisse die Vielseitigkeit von GPT-4 Mini bei der Bewältigung einer Reihe von Aufgaben, einschließlich Vision und Bildverarbeitung, hervor, während es gleichzeitig einen erheblichen Leistungsvorsprung und Kosteneffizienz gegenüber seinem größeren Gegenstück beibehält. Dies macht GPT-4 Mini zu einer überzeugenden Option für Anwendungen, bei denen der Kompromiss zwischen Kosten und Leistung ein Schlüsselfaktor ist.

Die Testung von GPT-40 mini hat einige beeindruckende Fähigkeiten dieses kleineren und kostengünstigeren Modells offenbart. Im Vergleich zum größeren GPT-4 zeigte GPT-40 mini bemerkenswerte Geschwindigkeit und Leistung bei einer Vielzahl von Aufgaben, darunter das Schreiben von Python-Skripts, das Lösen von Logikproblemen und sogar das Generieren von kreativem Inhalt.

Ein Hauptvorteil von GPT-40 mini ist sein deutlich niedrigerer Preis, der 60% günstiger ist als GPT-3.5 Turbo. Dies macht es zu einer attraktiven Option für Entwickler und Unternehmen, die leistungsfähige Sprachmodelle nutzen möchten, ohne dabei die Bank zu sprengen.

Die Tests zeigten jedoch auch einige Einschränkungen von GPT-40 mini, insbesondere bei Aufgaben, die visuelle Verarbeitung erfordern. Das Modell konnte die Leistung von GPT-4 bei Aufgaben wie Bildanalyse und -konvertierung nicht erreichen und benötigte oft mehr Zeit und deutlich mehr Tokens.

Insgesamt repräsentiert das Auftauchen von GPT-40 mini einen wichtigen Schritt in der Entwicklung von Sprachmodellen und zeigt das Potenzial kleinerer, effizienterer Modelle, beeindruckende Fähigkeiten zu einem Bruchteil der Kosten zu liefern. Da sich das Zeitalter der kleinen Modelle weiter entfaltet, wird es interessant sein zu beobachten, wie GPT-40 mini und ähnliche Modelle in verschiedenen Anwendungen eingesetzt und genutzt werden.