今天的第一个故事是关于一家名为Etched的新AI芯片公司,该公司声称能够每秒生成超过50万个令牌,运行LLaMA 70B。这款名为Sohu的芯片是用于Transformer模型的第一款专用ASIC(应用特定集成电路)。

据说Sohu的速度和成本都比即使是英伟达下一代的Blackwell GPU快10倍以上。一台Sohu服务器可以每秒运行超过50万个LLaMA 70B令牌,这是英伟达H100的20倍,Blaize B2的10倍。

Sohu的关键优势在于它专门针对Transformer模型进行了优化,而Transformer模型是当今大多数主要AI产品的基础。该公司表示,随着Transformer模型变得更加主导,像Sohu这样的定制芯片将变得至关重要,因为GPU的计算密度提升速度跟不上需求。

Etched认为,能够在硬件上最快最便宜地运行Transformer的架构将赢得"硬件彩票"。他们认为,AI实验室正在花费数亿美元优化Transformer的内核,而初创公司正在使用专门的Transformer软件库,这使得"Transformer杀手"很难在GPU上赶上。

总的来说,Etched的Sohu芯片代表了AI硬件的重大进步,可能会颠覆GPU在这个领域的主导地位。

OpenAI宣布推迟推出ChatGPT的高级语音模式,该模式此前在春季更新中有所展示。该公司表示需要提高模型检测和拒绝某些内容的能力,并提升用户体验,同时为数百万用户的扩展做好基础设施准备,以保持实时响应。

该公司计划在6月底向少数ChatGPT Plus用户推出高级语音模式的Alpha版本,并计划在秋季向所有Plus用户提供。但具体时间表将取决于是否满足他们的高安全性和可靠性标准。

OpenAI还在推出新的视频和屏幕共享功能,这将单独公布。高级语音模式预计将使ChatGPT更接近实时、自然的AI对话,能够理解和用情感及非语言线索进行响应。

这些功能推出的延迟令人失望,因为这再次反映了Whisper(OpenAI的语音模型)发布的漫长等待。但该公司强调,在广泛提供这些功能之前,确保高度的安全性和可靠性非常重要。

Anthropic的Claude 3.5模型取得了重大进步,在编码Arita硬提示Arena中获得第一名,在总排行榜中获得第二名。新的Sonet模型以较低的成本超越了Opus,使其在GPT-4和Gemini 1.5 Pro等Frontier模型方面具有竞争力。

在之前的一个视频中,创作者测试了Claude 3.5 Sonet模型,发现它是他们测试过的最好的模型。该模型完全碾压了创作者的测试,促使他们要求进行更具挑战性的新测试。

在编码任务上,Claude 3.5与GPT-4的比较显示,Claude 3.5在任务成功率和整体项目成功率方面优于GPT-4,尽管GPT-4的构建成功率略高。此外,Claude 3.5更加冗长,这对于较长的代码片段有利,但可能会降低生成速度。该模型在大型提示中遵循指令的可靠性也比GPT-4略低。

总的来说,Anthropic的Claude 3.5模型在编码和硬提示领域的主导地位是一个重大成就,展示了大型语言模型及其应用的持续进步。

Twitter用户chubby分享的视频确实非常出色,它展示了AI在生成逼真的视频游戏画面方面的惊人能力。这些视觉效果似乎受到使命召唤风格游戏的启发,视觉和声音效果完美融合,营造出身临其境的体验。

尽管画面质量令人印象深刻,但实时实现这种程度的真实感仍然需要大量的计算能力。正如英伟达CEO Jensen所说,这就是视频游戏的未来,它将推动这个行业向新的高度发展。

这段视频突出了AI驱动内容生成的快速进步,现实与人工创造之间的界限变得越来越模糊。随着技术的不断发展,我们可以期待在不久的将来看到更多令人惊叹的逼真AI生成的视频游戏体验。

苹果公司决定不将Meta的AI模型(如Llama 3模型)集成到Siri中,原因是隐私方面的担忧。这一决定是在最近有报道称苹果正在与Meta进行集成对方AI模型的谈判之后做出的。

苹果做出这一决定的主要原因是对Meta隐私做法的担忧。苹果一直公开批评Meta在用户隐私方面的做法,该科技巨头可能不希望与一家曾面临众多隐私丑闻的公司产生联系。

即使苹果可以自行托管这些AI模型,并保持对隐私方面的控制,但该公司仍然选择不进行集成。这表明苹果的担忧不仅仅局限于技术实施,还延伸到与Meta合作可能带来的声誉风险。

这一决定突出了苹果对用户隐私的承诺,以及在创新与保护用户数据之间寻求平衡的决心。这也凸显了隐私在科技行业日益重要的地位,各公司正在努力权衡。