A primeira história de hoje é sobre uma nova empresa de chips de IA chamada Etched, que afirma ser capaz de gerar mais de 500.000 tokens por segundo executando o LLaMA 70B. Este chip, chamado Sohu, é o primeiro ASIC (Circuito Integrado Específico para Aplicação) especializado para modelos Transformer.

Diz-se que o Sohu é mais de 10 vezes mais rápido e mais barato do que até mesmo os GPUs Blackwell de próxima geração da Nvidia. Um servidor Sohu pode executar mais de 500.000 tokens LLaMA 70B por segundo, o que é 20 vezes mais do que um Nvidia H100 e 10 vezes mais do que um Blaize B2.

A principal vantagem do Sohu é sua especialização em modelos Transformer, que são a base da maioria dos principais produtos de IA hoje em dia. A empresa afirma que, à medida que os modelos Transformer se tornam mais dominantes, chips personalizados como o Sohu serão essenciais, pois os GPUs não estão melhorando a densidade de computação rápido o suficiente para acompanhar.

A Etched acredita que a arquitetura que executa os Transformers mais rápida e barata em hardware vencerá a "loteria de hardware". Eles argumentam que os laboratórios de IA estão gastando centenas de milhões otimizando kernels para Transformers, e startups estão usando bibliotecas de software especializadas em Transformer, tornando difícil para os "Transformer Killers" alcançarem os GPUs.

A OpenAI anunciou um atraso no lançamento do modo de voz avançado para o ChatGPT, que foi demonstrado anteriormente durante a atualização da primavera. A empresa cita a necessidade de melhorar a capacidade do modelo de detectar e recusar determinados conteúdos, bem como de melhorar a experiência do usuário e preparar a infraestrutura para escalar para milhões de usuários, mantendo respostas em tempo real.

A empresa planeja começar a lançar a versão alpha do modo de voz avançado para um pequeno grupo de usuários do ChatGPT Plus no final de junho, com o objetivo de torná-lo disponível para todos os usuários Plus no outono. No entanto, o cronograma exato dependerá do atendimento aos seus altos padrões de segurança e confiabilidade.

A OpenAI também está trabalhando no lançamento de novos recursos de vídeo e compartilhamento de tela, que serão anunciados separadamente. O modo de voz avançado deve aproximar o ChatGPT de conversas naturais em tempo real com IA, com a capacidade de entender e responder com emoções e sinais não verbais.

O atraso no lançamento desses recursos é decepcionante, pois ecoa a espera prolongada pelo lançamento do Whisper, o modelo de voz da OpenAI. No entanto, a empresa enfatiza a importância de garantir um alto nível de segurança e confiabilidade antes de tornar esses recursos amplamente disponíveis.

O modelo Claude 3.5 da Anthropic deu um salto significativo, garantindo o primeiro lugar no Arena de prompts difíceis de Arita de codificação e o segundo lugar no quadro geral de classificação. O novo modelo Sonet superou o Opus a uma fração do custo, tornando-o competitivo com modelos Frontier como GPT-4 e Gemini 1.5 Pro em todos os aspectos.

Em um vídeo anterior, o criador testou o modelo Claude 3.5 Sonet e o considerou o melhor modelo que já havia testado. O modelo demoliu completamente os testes do criador, levando a um pedido de novos testes mais desafiadores.

As comparações entre o Claude 3.5 e o GPT-4 em tarefas de codificação mostram que o Claude 3.5 supera o GPT-4 no sucesso da tarefa e no sucesso do projeto completo, embora o GPT-4 tenha uma taxa de sucesso de compilação ligeiramente mais alta. Além disso, o Claude 3.5 é mais verboso, o que pode ser benéfico para peças de código mais longas, mas pode atrasar a geração. O modelo também tende a ser menos confiável em seguir instruções em prompts grandes em comparação com o GPT-4.

Em geral, o domínio do modelo Claude 3.5 da Anthropic nas arenas de codificação e prompts difíceis é uma conquista significativa, mostrando os avanços contínuos nos modelos de linguagem de grande porte e suas aplicações.

O vídeo apresentado pelo usuário do Twitter chubby é realmente notável, pois demonstra as incríveis capacidades da IA em gerar imagens de jogos de vídeo realistas. Os visuais, que parecem ser inspirados em um jogo estilo Call of Duty, são incrivelmente realistas, com o som e os visuais gerados por IA se fundindo perfeitamente para criar uma experiência imersiva.

Embora a qualidade das imagens seja impressionante, a quantidade de poder computacional necessária para alcançar esse nível de realismo em tempo real ainda é um desafio significativo. Como mencionado por Jensen, CEO da Nvidia, este é o futuro dos jogos de vídeo e levará a indústria a novos patamares.

O vídeo destaca os rápidos avanços na geração de conteúdo impulsionada por IA, onde a linha entre a realidade e a criação artificial está se tornando cada vez mais embaçada. À medida que a tecnologia continuar a evoluir, podemos esperar ver experiências de jogos de vídeo geradas por IA ainda mais impressionantes e realistas no futuro próximo.

A Apple decidiu não integrar os modelos de IA da Meta, como o modelo Llama 3, ao Siri devido a preocupações com privacidade. Esta decisão vem apenas alguns dias depois que surgiram relatos de que a Apple estava em negociações com a Meta para integrar os modelos de IA da última.

A principal razão para a decisão da Apple são as preocupações da empresa com as práticas de privacidade da Meta. A Apple tem sido vocal em suas críticas à abordagem da Meta em relação à privacidade do usuário, e o gigante da tecnologia provavelmente não quer ser associado a uma empresa que enfrentou inúmeros escândalos relacionados à privacidade.

Embora a Apple pudesse ter hospedado os modelos de IA por conta própria e mantido o controle sobre os aspectos de privacidade, a empresa ainda optou por não fazer a integração. Isso sugere que as preocupações da Apple vão além apenas da implementação técnica e se estendem aos riscos de reputação mais amplos de se associar à Meta.

A decisão destaca o compromisso da Apple com a privacidade do usuário e sua disposição em abrir mão de potenciais capacidades de IA se elas vierem às custas de seus valores fundamentais. Também ressalta a crescente importância da privacidade na indústria de tecnologia, à medida que as empresas navegam no equilíbrio entre inovação e proteção dos dados dos usuários.