Die jüngste Veröffentlichung von GPT-4 Omni durch OpenAI hat ein leistungsfähiges Modell eingeführt, das in Echtzeit über Audio, Vision und Text argumentieren kann. Dieses neue Modell bietet mehrere beeindruckende Fähigkeiten:

• Multimodale Interaktion: GPT-4 Omni kann Eingaben in Form von Text, Audio, Bildern und Videos entgegennehmen und Ausgaben in einer beliebigen Kombination dieser Modalitäten erzeugen. Dies ermöglicht natürlichere Mensch-Computer-Interaktionen.

• Schnelle Reaktion: Das Modell kann auf Audioeingaben im Durchschnitt in nur 232 Millisekunden reagieren und damit die Geschwindigkeit menschlicher Konversation erreichen.

• Verbesserte Leistung: GPT-4 Omni übertrifft frühere Modelle in verschiedenen Benchmarks, einschließlich Textevaluierung, Audio-ASR und Audio-Übersetzung.

• Kosteneffizienz: Das neue Modell ist 50% günstiger als das vorherige GPT-4 Turbo, was es für API-Nutzer zugänglicher macht. Die kostenlose Version von ChatGPT verwendet jetzt GPT-4 Omni, so dass mehr Nutzer von seinen Fähigkeiten profitieren können.

Die Ankündigung von GPT-4 Omni bringt im Vergleich zu früheren Modellen erhebliche Verbesserungen bei Preis und Kosteneffizienz mit sich. Einige Schlüsselpunkte:

• Die Inputkosten sind auf 0,005 $ pro 1.000 Token gesunken, gegenüber 0,01 $ für GPT-4 Turbo.
• Die Outputkosten betragen jetzt 0,015 $ pro 1.000 Token, verglichen mit 0,03 $ für GPT-4 Turbo.
• Auch die Bildverarbeitungspreise sind deutlich günstiger, was die Gesamtnutzung von GPT-4 Omni kosteneffizienter macht.
• Im Vergleich zu GPT-3.5 Turbo bietet GPT-4 Omni eine 50%ige Preissenkung, was es zu einer zugänglicheren Option für Entwickler und Nutzer macht.
• Die kostenlose Version von ChatGPT verwendet nun das GPT-4 Omni-Modell, so dass mehr Nutzer von den verbesserten Fähigkeiten und Leistungen ohne Zusatzkosten profitieren können.

OpenAI hat das neue GPT-4 Omni-Modell verschiedenen Benchmark-Tests unterzogen, um seine Leistung zu bewerten. Das Modell wurde mit anderen Sprachmodellen wie GPT-4 Turbo, dem ursprünglichen GPT-4, Claude 3, Opus Gemini Pro 1.5, Gemini 1.0 und LLaMA 3 verglichen.

Die Ergebnisse zeigen, dass GPT-4 Omni in verschiedenen Testbereichen fast jedes andere Modell übertrifft:

• Textevaluierung: GPT-4 Omni erzielt die höchsten Werte.
• Audio-ASR (Automatische Spracherkennung): GPT-4 Omni übertrifft die vorherige Whisper-Version 3 mit geringeren Fehlerraten.
• Audio-Übersetzung: GPT-4 Omni schlägt alle anderen Modelle in diesem Test.
• M3 Exam Zero-Shot: GPT-4 Omni übertrifft das ursprüngliche GPT-4-Modell.
• Visuelle Verständnisevaluierungen: GPT-4 Omni erzielt in allen diesen Tests die höchsten Werte.

Der Artikel weist darauf hin, dass die verbesserten Sprachtoken-Fähigkeiten von GPT-4 Omni zu seiner Kosteneffizienz beitragen. Obwohl die Tokenreduzierung für Englisch nur 1,1-mal ist, können die Einsparungen bei großen Textmengen erheblich sein.

Wie bei all ihren KI-Modellen legt OpenAI großen Wert auf die Sicherheit und Grenzen von GPT-4 Omni. Der Artikel stellt fest, dass das Modell noch einige Einschränkungen aufweist, wie gelegentliche Unterbrechungen des Gesprächsflusses und die Notwendigkeit, dem Nutzer manuell mitzuteilen, wenn er fertig ist. Dies ist ein Problem, das selbst mit den verbesserten Reaktionszeiten von GPT-4 Omni bestehen geblieben ist.

Der Artikel erwähnt auch, dass das Modell integrierte Sicherheitsmerkmale und -beschränkungen aufweist, um möglichen Missbrauch oder schädliche Ausgaben zu adressieren. Die genauen Details dieser Sicherheitsmaßnahmen werden in diesem Abschnitt jedoch nicht angegeben.

GPT-4 Omni, das neueste Flaggschiff-Modell von OpenAI, ist jetzt weit verbreitet und für Nutzer zugänglich. Hier sind die wichtigsten Details:

• Die GPT-4 Omni-Text- und Bildmodelle sind nun in die kostenlose Stufe von ChatGPT integriert, so dass alle Nutzer auf diese Funktionen zugreifen können.
• Die kostenlose ChatGPT-Stufe hat jetzt 5-mal höhere Nachrichtenlimits, was sie für Nutzer viel zugänglicher macht.
• Eine neue Version des Sprachmodus mit GPT-4 Omni-Integration soll in den nächsten Wochen eingeführt werden und nahtlose audiobasierte Interaktionen bieten.
• GPT-4 Omni ist als eigenständiges Text- und Visionsmodell über die OpenAI-API verfügbar und bietet Entwicklern die doppelte Geschwindigkeit und die Hälfte des Preises im Vergleich zum vorherigen GPT-4 Turbo-Modell.

Die Fähigkeit, konsistente Charaktere über mehrere Szenen hinweg zu erstellen, ist eine Schlüsselfähigkeit des neuen GPT-4 Omni-Modells. Durch das Training mit visuellen Eingaben kann das Modell nun visuelle Ausgaben erzeugen, die die gleichen Charakterattribute wie Kleidung, Accessoires und Posen beibehalten, auch wenn der Charakter in verschiedene Szenarien versetzt wird.

In den bereitgestellten Beispielen kann das Modell die Figur "Sally" als lächelnde Postbotin mit Tasche und Uniform in verschiedenen Szenen konsistent darstellen. Dies ist eine erhebliche Verbesserung gegenüber früheren Modellen, die sich auf textuelle Beschreibungen verlassen mussten, um die Zeichenkonsistenz aufrechtzuerhalten.

Die Geschwindigkeit und Genauigkeit der visuellen Ausgaben von GPT-4 Omni ermöglichen auch nahtlosere und natürlichere Interaktionen, bei denen das Modell schnell auf visuelle Eingaben reagieren und entsprechende visuelle Antworten erzeugen kann. Dies eröffnet neue Möglichkeiten für Anwendungen, die eine konsistente Zeichendarstellung erfordern, wie interaktives Storytelling, virtuelle Assistenten und sogar Videospielentwicklung.