De eerste verhaal vandaag gaat over een nieuw AI-chipbedrijf genaamd Etched, dat beweert meer dan 500.000 tokens per seconde te kunnen genereren met LLaMA 70B. Deze chip, genaamd Sohu, is de eerste gespecialiseerde ASIC (Application-Specific Integrated Circuit) voor Transformer-modellen.

Sohu zou meer dan 10 keer sneller en goedkoper zijn dan zelfs Nvidia's volgende generatie Blackwell-GPU's. Één Sohu-server kan meer dan 500.000 LLaMA 70B-tokens per seconde uitvoeren, wat 20 keer meer is dan een Nvidia H100 en 10 keer meer dan een Blaize B2.

Het belangrijkste voordeel van Sohu is zijn specialisatie voor Transformer-modellen, die de basis vormen van de meeste grote AI-producten vandaag. Het bedrijf beweert dat naarmate Transformer-modellen dominanter worden, op maat gemaakte chips zoals Sohu essentieel zullen zijn, omdat GPU's niet snel genoeg in rekendichtheid verbeteren om bij te kunnen houden.

Etched gelooft dat de architectuur die Transformers het snelst en goedkoopst op hardware laat draaien, de "hardware loterij" zal winnen. Ze betogen dat AI-laboratoria honderden miljoenen dollars besteden aan het optimaliseren van kernels voor Transformers, en startups gespecialiseerde Transformer-softwarebibliotheken gebruiken, waardoor het voor "Transformer Killers" moeilijk is om bij te benen op GPU's.

Overal vertegenwoordigt de Sohu-chip van Etched een belangrijke vooruitgang in AI-hardware, met de potentie om de dominantie van GPU's in deze ruimte te verstoren.

OpenAI heeft een vertraging aangekondigd in de uitrol van de geavanceerde spraakstand voor ChatGPT, die eerder tijdens de voorjaarsupdate werd gedemonstreerd. Het bedrijf noemt de noodzaak om het vermogen van het model om bepaalde inhoud te detecteren en te weigeren te verbeteren, evenals om de gebruikerservaring te verbeteren en de infrastructuur voor te bereiden op het opschalen naar miljoenen gebruikers, terwijl real-time reacties worden gehandhaafd.

Het bedrijf plant om eind juni de alfaversie van de geavanceerde spraakstand uit te rollen naar een kleine groep ChatGPT Plus-gebruikers, met als doel deze in het najaar beschikbaar te maken voor alle Plus-gebruikers. De exacte tijdlijn zal echter afhangen van het voldoen aan hun hoge veiligheids- en betrouwbaarheidsnormen.

OpenAI werkt ook aan het uitrollen van nieuwe video- en schermdelingscapaciteiten, die afzonderlijk zullen worden aangekondigd. De geavanceerde spraakstand wordt verwacht ChatGPT dichter bij real-time, natuurlijke gesprekken met AI te brengen, met het vermogen om emoties en non-verbale signalen te begrijpen en erop te reageren.

De vertraging in de lancering van deze functies is teleurstellend, aangezien het de langdurige wachttijd voor de release van Whisper, OpenAI's spraakmodel, weerspiegelt. Het bedrijf benadrukt echter het belang van het waarborgen van een hoog niveau van veiligheid en betrouwbaarheid voordat deze mogelijkheden breed beschikbaar worden gesteld.

Het Claude 3.5-model van Anthropic heeft een aanzienlijke sprong gemaakt, waarbij het de nummer één positie heeft veroverd in de Arita hard prompts Arena voor codering en de nummer twee positie in de algemene ranglijst. Het nieuwe Sonet-model heeft Opus overtroffen tegen een fractie van de kosten, waardoor het concurrerend is met Frontier-modellen als GPT-4 en Gemini 1.5 Pro over de hele linie.

In een eerdere video testte de maker het Claude 3.5 Sonet-model en vond het het beste model dat hij ooit had getest. Het model vernietigde de tests van de maker volledig, wat leidde tot een verzoek om nieuwe, uitdagendere tests.

Vergelijkingen tussen Claude 3.5 en GPT-4 op codeertaken laten zien dat Claude 3.5 beter presteert dan GPT-4 op het gebied van taaksucces en volledig projectsucces, hoewel GPT-4 een iets hogere bouwsuccesratio heeft. Daarnaast is Claude 3.5 verbaler, wat voordelig kan zijn voor langere stukken code, maar de generatie kan vertragen. Het model is ook minder betrouwbaar in het opvolgen van instructies in grote prompts in vergelijking met GPT-4.

Overal is de dominantie van Anthropic's Claude 3.5-model in de codering en moeilijke prompts-arena een belangrijke prestatie, die de voortdurende vooruitgang in grote taalmodellen en hun toepassingen laat zien.

De video die Twitter-gebruiker chubby heeft getoond, is werkelijk opmerkelijk, omdat het de ongelooflijke mogelijkheden van AI demonstreert bij het genereren van realistische videogamebeelden. De beelden, die geïnspireerd lijken te zijn op een Call of Duty-achtig spel, zijn verbazingwekkend realistisch, waarbij het door AI gegenereerde geluid en de beelden naadloos samensmelten om een immersieve ervaring te creëren.

Hoewel de kwaliteit van de beelden indrukwekkend is, is de hoeveelheid rekenkracht die nodig is om dit niveau van realisme in real-time te bereiken nog steeds een aanzienlijke uitdaging. Zoals Jensen, de CEO van Nvidia, heeft gezegd, is dit de toekomst van videogames en zal het de industrie naar nieuwe hoogten brengen.

De video benadrukt de snelle vooruitgang in AI-aangedreven inhoudsgeneration, waarbij de grens tussen realiteit en kunstmatige creatie steeds meer vervaagt. Naarmate de technologie zich blijft ontwikkelen, kunnen we in de nabije toekomst nog meer indrukwekkende en realistische door AI gegenereerde videogame-ervaringen verwachten.

Apple heeft besloten om de AI-modellen van Meta, zoals het Llama 3-model, niet te integreren in Siri vanwege privacyoverwegingen. Deze beslissing komt slechts dagen nadat er berichten waren dat Apple in gesprek was met Meta om de AI-modellen van laatstgenoemde te integreren.

De belangrijkste reden voor Apples beslissing is de bezorgdheid van het bedrijf over Meta's privacypraktijken. Apple is openlijk kritisch geweest op Meta's benadering van gebruikersprivacy, en de techgigant wil waarschijnlijk niet geassocieerd worden met een bedrijf dat te maken heeft gehad met talloze privacygerelateerde schandalen.

Hoewel Apple de AI-modellen zelf had kunnen hosten en controle had kunnen houden over de privacyaspecten, heeft het bedrijf er toch voor gekozen om de integratie niet door te laten gaan. Dit suggereert dat Apples zorgen verder gaan dan alleen de technische implementatie en zich uitstrekken tot de bredere reputatierisico's van een partnerschap met Meta.

De beslissing benadrukt Apples toewijding aan gebruikersprivacy en zijn bereidheid om potentiële AI-mogelijkheden op te geven als deze ten koste gaan van zijn kernwaarden. Het onderstreept ook het groeiende belang van privacy in de technologie-industrie, aangezien bedrijven de balans moeten vinden tussen innovatie en het beschermen van gebruikersgegevens.