Den första berättelsen idag handlar om ett nytt AI-chippföretag som heter Etched, som hävdar att de kan generera över 500 000 tokens per sekund när de kör LLaMA 70B. Denna chip, som kallas Sohu, är den första specialiserade ASIC:en (Application-Specific Integrated Circuit) för Transformer-modeller.

Sohu sägs vara mer än 10 gånger snabbare och billigare än till och med Nvidias nästa generations Blackwell-GPU:er. En Sohu-server kan köra över 500 000 LLaMA 70B-tokens per sekund, vilket är 20 gånger mer än en Nvidia H100 och 10 gånger mer än en Blaize B2.

Nyckelfördelen med Sohu är dess specialisering för Transformer-modeller, som är grunden för de flesta stora AI-produkter idag. Företaget hävdar att när Transformer-modeller blir mer dominerande, kommer anpassade chip som Sohu att vara nödvändiga, eftersom GPU:er inte förbättras i beräkningstäthet tillräckligt snabbt för att hänga med.

Etched tror att den arkitektur som kör Transformers snabbast och billigast på hårdvara kommer att vinna "hårdvarulotteriet". De hävdar att AI-laboratorier spenderar hundratals miljoner på att optimera kärnor för Transformers, och startups använder specialiserade Transformer-programvarubibliotek, vilket gör det svårt för "Transformer-dödare" att komma ikapp på GPU:er.

Sammanfattningsvis representerar Sohu-chipen från Etched ett betydande framsteg inom AI-hårdvara och kan potentiellt störa GPU-dominansen inom detta område.

OpenAI har meddelat en försening i utrullningen av det avancerade röstläget för ChatGPT, som tidigare demonstrerades under våruppdateringen. Företaget citerar behovet av att förbättra modellens förmåga att upptäcka och vägra viss innehåll, samt att förbättra användarupplevelsen och förbereda infrastrukturen för att kunna skalas upp till miljontals användare samtidigt som de upprätthåller realtidsrespons.

Företaget planerar att börja rulla ut alfaversionen av det avancerade röstläget till en liten grupp ChatGPT Plus-användare i slutet av juni, med målet att göra det tillgängligt för alla Plus-användare under hösten. Den exakta tidslinjen kommer dock att bero på att de uppfyller deras höga säkerhets- och tillförlitlighetsstandarder.

OpenAI arbetar också med att rulla ut nya video- och skärmdelningsfunktioner, vilket kommer att tillkännages separat. Det avancerade röstläget förväntas föra ChatGPT närmare realtida, naturliga samtal med AI, med förmågan att förstå och svara med känslor och icke-verbala ledtrådar.

Förseningen i lanseringen av dessa funktioner är besvärande, eftersom den ekar den utdragna väntan på lanseringen av Whisper, OpenAIs röstmodell. Företaget betonar dock vikten av att säkerställa en hög nivå av säkerhet och tillförlitlighet innan dessa funktioner görs allmänt tillgängliga.

Anthropic's Claude 3.5-modell har gjort ett betydande språng och säkrat förstaplatsen i kodnings-Arita-hårdprompts-arenan och andraplatsen i den övergripande resultattavlan. Den nya Sonet-modellen har överträffat Opus till en bråkdel av kostnaden, vilket gör den konkurrenskraftig med Frontier-modeller som GPT-4 och Gemini 1.5 Pro över hela linjen.

I en tidigare video testade skaparen Claude 3.5 Sonet-modellen och fann den vara den bästa modell de någonsin testat. Modellen demolerade fullständigt skaparens tester, vilket ledde till en begäran om nya, mer utmanande tester.

Jämförelser mellan Claude 3.5 och GPT-4 på kodningsuppgifter visar att Claude 3.5 presterar bättre än GPT-4 när det gäller uppgiftsframgång och fullständig projektframgång, även om GPT-4 har en något högre byggframgångsgrad. Dessutom är Claude 3.5 mer utförlig, vilket kan vara fördelaktigt för längre kodstycken, men kan sakta ner genereringen. Modellen tenderar också att vara mindre tillförlitlig när det gäller att följa instruktioner i stora prompter jämfört med GPT-4.

Sammanfattningsvis är Anthropic's Claude 3.5-modells dominans inom kodnings- och hårdprompts-arenorna en betydande prestation som visar på de fortsatta framstegen inom stora språkmodeller och deras tillämpningar.

Videon som visades av Twitter-användaren chubby är verkligen anmärkningsvärd, eftersom den demonstrerar AI:s fantastiska förmåga att generera realistisk videospelsgrafik. Bilderna, som verkar vara inspirerade av ett Call of Duty-liknande spel, är otroligt realistiska, där den AI-genererade ljudet och bilderna smälter samman för att skapa en uppslukande upplevelse.

Men även om kvaliteten på materialet är imponerande, är den mängd beräkningskraft som krävs för att uppnå denna nivå av realism i realtid fortfarande en betydande utmaning. Som Jensen, VD för Nvidia, nämnde, är detta framtiden för datorspel och det kommer att ta branschen till nya höjder.

Videon belyser de snabba framstegen inom AI-driven innehållsgenerering, där gränsen mellan verklighet och artificiell skapelse blir allt mer suddig. Allteftersom tekniken fortsätter att utvecklas kan vi förvänta oss att se ännu mer imponerande och realistiska AI-genererade datorspelsupplevelser i den nära framtiden.

Apple har beslutat att inte integrera Meta's AI-modeller, som Llama 3-modellen, i Siri på grund av oro för integriteten. Detta beslut kommer bara några dagar efter att rapporter om att Apple var i förhandlingar med Meta om att integrera Meta's AI-modeller.

Huvudorsaken till Apples beslut är företagets oro över Metas integritetspraxis. Apple har varit öppet kritiska mot Metas förhållningssätt till användarintegritet, och teknikjätten vill sannolikt inte associeras med ett företag som har ställts inför många integritetsskandaler.

Även om Apple skulle kunna vara värd för AI-modellerna själva och upprätthålla kontroll över integritetsfrågor, valde företaget ändå att inte gå vidare med integrationen. Detta tyder på att Apples oro går bortom bara den tekniska implementeringen och sträcker sig till de bredare ryktesmässiga riskerna med att samarbeta med Meta.

Beslutet belyser Apples engagemang för användarintegritet och dess beredskap att avstå från potentiella AI-funktioner om de kommer på bekostnad av företagets kärnvärden. Det understryker också den växande betydelsen av integritet i teknikbranschen, när företag navigerar balansen mellan innovation och skydd av användardata.