De recente release van GPT-4 Omni door OpenAI heeft een krachtig model geïntroduceerd dat in real-time kan redeneren over audio, visie en tekst. Dit nieuwe model biedt verschillende indrukwekkende mogelijkheden:

• Multimodale interactie: GPT-4 Omni kan invoer in de vorm van tekst, audio, afbeeldingen en video accepteren en uitvoer in elke combinatie van deze modaliteiten genereren. Dit maakt natuurlijkere mens-computer-interacties mogelijk.

• Snelle respons: Het model kan gemiddeld in slechts 232 milliseconden reageren op audio-invoer, wat overeenkomt met de snelheid van menselijke conversatie.

• Verbeterde prestaties: GPT-4 Omni presteert beter dan eerdere modellen op verschillende benchmarks, waaronder tekstbeoordeling, audio-ASR en audio-vertaling.

• Kostenefficiëntie: Het nieuwe model is 50% goedkoper dan de vorige GPT-4 Turbo, waardoor het toegankelijker is voor API-gebruikers. De gratis versie van ChatGPT gebruikt nu GPT-4 Omni, waardoor meer gebruikers kunnen profiteren van de mogelijkheden ervan.

De aankondiging van GPT-4 Omni brengt aanzienlijke verbeteringen in prijsstelling en kostenefficiëntie in vergelijking met eerdere modellen. Enkele belangrijke hoogtepunten:

• De invoerkosten zijn gedaald tot $0,005 per 1.000 tokens, van $0,01 voor GPT-4 Turbo.
• De uitvoerkosten zijn nu $0,015 per 1.000 tokens, verlaagd van $0,03 voor GPT-4 Turbo.
• De visie-prijzen zijn ook veel goedkoper, waardoor het algehele gebruik van GPT-4 Omni kosteneffectiever is.
• Vergeleken met GPT-3.5 Turbo biedt GPT-4 Omni een prijsverlaging van 50%, waardoor het een toegankelijkere optie is voor ontwikkelaars en gebruikers.
• De gratis versie van ChatGPT gebruikt nu het GPT-4 Omni-model, waardoor meer gebruikers kunnen profiteren van de verbeterde mogelijkheden en prestaties zonder extra kosten.

Open AI heeft het nieuwe GPT-4 Omni-model onderworpen aan verschillende benchmarktests om de prestaties te evalueren. Het model werd vergeleken met andere taalmodellen zoals GPT-4 Turbo, het oorspronkelijke GPT-4, Claude 3, Opus Gemini Pro 1.5, Gemini 1.0 en LLaMA 3.

De resultaten laten zien dat GPT-4 Omni bijna elk ander model overtreft op verschillende testcategorieën:

• Tekstbeoordeling: GPT-4 Omni behaalt de hoogste scores.
• Audio-ASR (Automatic Speech Recognition): GPT-4 Omni presteert beter dan de vorige Whisper-versie 3, met lagere foutpercentages.
• Audio-vertaling: GPT-4 Omni verslaat alle andere modellen in deze test.
• M3 Exam Zero-Shot: GPT-4 Omni presteert beter dan het oorspronkelijke GPT-4-model.
• Visuele begripsbeoordelingen: GPT-4 Omni behaalt de hoogste scores op elk van deze tests.

Het artikel vermeldt dat een van de redenen waarom GPT-4 Omni goedkoper is, zijn vermogen om talen in minder tokens weer te geven. Hoewel het tokenaantal voor Engels slechts 1,1 keer is gedaald, kan dit bij grote hoeveelheden tekst leiden tot aanzienlijke kostenbesparingen.

Het artikel legt uit dat de volledige zin die voorheen 27 tokens in beslag nam, nu slechts 24 tokens nodig heeft. Deze verbeterde taalmodellering en -weergave stelt GPT-4 Omni in staat efficiënter met tokens om te gaan, wat leidt tot de 50% kostenverlaging in vergelijking met eerdere modellen.

Het artikel suggereert dat deze verbeterde taalmodellering een sleutelfactor is om GPT-4 Omni een kosteneffectievere keuze te maken voor ontwikkelaars en gebruikers, vooral voor toepassingen die grote hoeveelheden tekst in meerdere talen verwerken.

Net als al hun AI-modellen, is OpenAI zeer gefocust op de veiligheid en beperkingen van GPT-4 Omni. Het artikel vermeldt dat het model nog steeds enkele beperkingen heeft, zoals het af en toe onderbreken van gesprekken en het handmatig moeten vertellen wanneer de gebruiker klaar is met spreken. Dit is een probleem dat zelfs met de verbeterde reactietijden van GPT-4 Omni is blijven bestaan.

Het artikel vermeldt ook dat het model ingebouwde veiligheidsfuncties en beperkingen heeft om potentieel misbruik of schadelijke uitvoer aan te pakken. De specifieke details van deze veiligheidsmaatregelen worden echter niet in dit gedeelte vermeld.

Over het geheel genomen, hoewel GPT-4 Omni een aanzienlijke vooruitgang in OpenAI's taalmodellen vertegenwoordigt, blijft het bedrijf voorzichtig en waakzaam over de mogelijke risico's en beperkingen van de technologie. Voortdurende monitoring en verfijning van de veiligheidsfuncties van het model zullen waarschijnlijk een prioriteit zijn naarmate het model breder wordt ingezet.

GPT-4 Omni, het nieuwste vlaggenschipmodel van OpenAI, is nu breed beschikbaar en toegankelijk voor gebruikers. Hier zijn de belangrijkste details:

• De GPT-4 Omni-tekst- en afbeeldingsmodellen zijn nu geïntegreerd in de gratis versie van ChatGPT, waardoor alle gebruikers toegang hebben tot deze mogelijkheden.
• De gratis versie van ChatGPT heeft nu 5 keer hogere berichtlimieten, waardoor het veel toegankelijker is voor gebruikers.
• Een nieuwe versie van de spraakstand met GPT-4 Omni-integratie wordt naar verwachting binnen een paar weken uitgerold, waardoor naadloze audio-gebaseerde interacties mogelijk worden.
• GPT-4 Omni is beschikbaar als een zelfstandig tekst- en visiemodel via de OpenAI-API, met een dubbele snelheid en de helft van de prijs in vergelijking met het vorige GPT-4 Turbo-model.
• OpenAI moedigt alle ontwikkelaars sterk aan om over te stappen op het GPT-4 Omni-model, aangezien het de aanbevolen keuze is geworden met vrijwel geen gebruiksgevallen voor het oudere GPT-4 Turbo-model.
• De prijzen voor GPT-4 Omni zijn aanzienlijk verlaagd, met de invoerkosten die zijn gedaald tot $0,005 per 1.000 tokens en de uitvoerkosten op $0,015 per 1.000 tokens, waardoor het toegankelijker is voor een breed scala aan toepassingen.

Het vermogen om consistente personages over meerdere scènes te creëren, is een sleutelvaardigheid van het nieuwe GPT-4 Omni-model. Door te trainen op visuele invoer, kan het model nu visuele uitvoer genereren die dezelfde personage-attributen, zoals kleding, accessoires en poses, behouden, zelfs als het personage in verschillende scenario's wordt geplaatst.

In de voorbeelden die worden gegeven, kan het model consequent het personage "Sally" als een lachende postbezorger weergeven, waarbij haar tas en uniform hetzelfde blijven in verschillende scènes. Dit is een aanzienlijke verbetering ten opzichte van eerdere modellen, die zouden moeten vertrouwen op tekstuele beschrijvingen om de consistentie van het personage te proberen te behouden.

De snelheid en nauwkeurigheid van de visuele uitvoer van GPT-4 Omni maken ook meer naadloze en natuurlijke interacties mogelijk, waarbij het model snel kan reageren op visuele prompts en passende visuele reacties kan genereren. Dit opent nieuwe mogelijkheden voor toepassingen die consistente personage-weergave vereisen, zoals interactief verhalen vertellen, virtuele assistenten en zelfs game-ontwikkeling.