La primera historia de hoy trata sobre una nueva empresa de chips de IA llamada Etched, que afirma poder generar más de 500,000 tokens por segundo ejecutando LLaMA 70B. Este chip, llamado Sohu, es el primer ASIC (Circuito Integrado de Aplicación Específica) especializado para modelos Transformer.

Se dice que Sohu es más de 10 veces más rápido y más barato que incluso los próximos GPUs Blackwell de Nvidia. Un solo servidor Sohu puede ejecutar más de 500,000 tokens LLaMA 70B por segundo, lo que es 20 veces más que un Nvidia H100 y 10 veces más que un Blaize B2.

La principal ventaja de Sohu es su especialización en modelos Transformer, que son la base de la mayoría de los principales productos de IA en la actualidad. La empresa afirma que a medida que los modelos Transformer se vuelven más dominantes, los chips personalizados como Sohu serán esenciales, ya que los GPUs no están mejorando lo suficiente en densidad de cálculo para mantenerse al día.

OpenAI ha anunciado un retraso en el lanzamiento del modo de voz avanzado para ChatGPT, que se había demostrado anteriormente durante la actualización de primavera. La empresa cita la necesidad de mejorar la capacidad del modelo para detectar y rechazar cierto contenido, así como para mejorar la experiencia del usuario y preparar la infraestructura para escalar a millones de usuarios manteniendo respuestas en tiempo real.

La empresa planea comenzar a implementar la versión alpha del modo de voz avanzado a un pequeño grupo de usuarios de ChatGPT Plus a finales de junio, con el objetivo de ponerlo a disposición de todos los usuarios Plus en el otoño. Sin embargo, el cronograma exacto dependerá de cumplir con sus altos estándares de seguridad y confiabilidad.

El modelo Claude 3.5 de Anthropic ha dado un salto significativo, asegurando el primer lugar en la Arena de Arita de prompts difíciles de codificación y el segundo lugar en el ranking general. El nuevo modelo Sonet ha superado a Opus a una fracción del costo, lo que lo hace competitivo con modelos Frontier como GPT-4 y Gemini 1.5 Pro en todos los aspectos.

En un video anterior, el creador probó el modelo Claude 3.5 Sonet y lo encontró como el mejor modelo que había probado. El modelo demolió por completo las pruebas del creador, lo que provocó una solicitud de nuevas pruebas más desafiantes.

El video mostrado por el usuario de Twitter chubby es verdaderamente notable, ya que demuestra las increíbles capacidades de la IA para generar imágenes de videojuegos realistas. Los visuales, que parecen inspirados en un juego estilo Call of Duty, son sorprendentemente realistas, con el sonido y los visuales generados por IA que se funden sin problemas para crear una experiencia inmersiva.