오늘 첫 번째 이야기는 LLaMA 70B를 초당 50만 개 이상의 토큰을 생성할 수 있다고 주장하는 새로운 AI 칩 회사 Etched에 관한 것입니다. 이 칩은 Sohu라고 불리며, Transformer 모델을 위한 첫 번째 전용 ASIC(Application-Specific Integrated Circuit)입니다.

Sohu는 Nvidia의 차세대 Blackwell GPU보다 10배 이상 빠르고 저렴하다고 합니다. 한 대의 Sohu 서버는 초당 50만 개 이상의 LLaMA 70B 토큰을 실행할 수 있으며, 이는 Nvidia H100보다 20배, Blaize B2보다 10배 더 많습니다.

Sohu의 핵심 장점은 Transformer 모델에 특화되어 있다는 것입니다. Transformer 모델은 오늘날 대부분의 주요 AI 제품의 기반이 됩니다. 회사는 Transformer 모델이 더 지배적이 되면 Sohu와 같은 맞춤형 칩이 필수적이 될 것이라고 주장합니다. GPU는 이를 따라가기에 충분한 계산 밀도 향상을 보이지 않기 때문입니다.

Etched는 Transformer를 가장 빠르고 저렴하게 실행할 수 있는 아키텍처가 "하드웨어 복권"에서 승리할 것이라고 믿습니다. AI 연구소들이 Transformer를 최적화하는 데 수억 달러를 투자하고 있으며, 스타트업들이 전용 Transformer 소프트웨어 라이브러리를 사용하고 있어 GPU에서 "Transformer 킬러"를 따라잡기 어렵다고 주장합니다.

전반적으로 Etched의 Sohu 칩은 AI 하드웨어 분야에서 중요한 진전을 나타내며, GPU의 지배력을 잠재적으로 교란할 수 있습니다.

OpenAI는 봄 업데이트 중 시연되었던 ChatGPT의 고급 음성 모드 출시를 지연시키겠다고 발표했습니다. 회사는 모델의 특정 콘텐츠 감지 및 거부 능력을 개선하고, 사용자 경험을 향상시키며, 실시간 응답을 유지하면서 수백만 명의 사용자로 확장할 수 있는 인프라를 준비해야 한다고 밝혔습니다.

회사는 6월 말에 ChatGPT Plus 사용자 중 소수에게 고급 음성 모드의 알파 버전을 출시하기 시작할 계획이며, 가을에 모든 Plus 사용자에게 제공하는 것을 목표로 하고 있습니다. 그러나 정확한 일정은 높은 안전성과 신뢰성 기준을 충족하는 것에 달려 있습니다.

OpenAI는 또한 새로운 비디오 및 화면 공유 기능을 출시하는 작업을 진행 중이며, 이는 별도로 발표될 예정입니다. 고급 음성 모드는 ChatGPT를 실시간 자연스러운 대화로 한 걸음 더 가까워지게 할 것으로 예상됩니다. 이를 통해 감정과 비언어적 단서를 이해하고 반응할 수 있게 될 것입니다.

Whisper 출시 지연이 반복되어 이러한 기능 출시 지연은 실망스러운 일이지만, 회사는 이러한 기능을 광범위하게 제공하기 전에 높은 수준의 안전성과 신뢰성을 확보하는 것이 중요하다고 강조했습니다.

Anthropic의 Claude 3.5 모델이 큰 도약을 이루어, 코딩 Arita 어려운 프롬프트 Arena에서 1위를 차지하고 전체 순위에서 2위를 차지했습니다. 새로운 Sonet 모델은 Opus를 비용의 일부로 능가하여 GPT-4와 Gemini 1.5 Pro와 같은 Frontier 모델들과 전반적으로 경쟁력을 갖추게 되었습니다.

이전 영상에서 제작자는 Claude 3.5 Sonet 모델을 테스트했고, 이것이 그가 테스트한 최고의 모델이라고 밝혔습니다. 이 모델은 제작자의 테스트를 완전히 압도했고, 새로운 더 어려운 테스트를 요청하게 만들었습니다.

Claude 3.5와 GPT-4의 코딩 작업 비교 결과, Claude 3.5가 작업 성공률과 전체 프로젝트 성공률에서 GPT-4를 능가하는 것으로 나타났습니다. 다만 GPT-4가 약간 더 높은 빌드 성공률을 보였습니다. 또한 Claude 3.5는 더 장황하여 긴 코드 조각에 유리할 수 있지만 생성 속도를 늦출 수 있습니다. 또한 대규모 프롬프트에서 지침을 따르는 데 있어 GPT-4보다 신뢰성이 다소 낮은 경향이 있습니다.

전반적으로 코딩 및 어려운 프롬프트 분야에서 Anthropic의 Claude 3.5 모델의 지배력은 큰 성과를 나타내며, 대규모 언어 모델과 그 응용 분야의 지속적인 발전을 보여줍니다.

Twitter 사용자 chubby가 선보인 영상은 정말 놀라운데, AI가 현실적인 비디오 게임 장면을 생성할 수 있는 능력을 보여줍니다. 이 영상은 Call of Duty 스타일의 게임에서 영감을 받은 것으로 보이며, 시각적으로 매우 사실적이며 AI 생성 음향과 영상이 완벽하게 어우러져 몰입감 있는 경험을 제공합니다.

영상의 품질은 인상적이지만, 이러한 수준의 사실성을 실시간으로 달성하는 데 필요한 컴퓨팅 파워는 여전히 큰 과제입니다. Nvidia CEO 제너슨이 언급했듯이, 이것이 비디오 게임의 미래이며 업계를 새로운 높이로 끌어올릴 것입니다.

이 영상은 현실과 인공 창작 사이의 경계가 점점 모호해지는 AI 기반 콘텐츠 생성 기술의 급속한 발전을 보여줍니다. 기술이 계속 발전함에 따라 우리는 가까운 미래에 더 인상적이고 사실적인 AI 생성 비디오 게임 경험을 볼 수 있을 것입니다.

Apple은 프라이버시 우려로 인해 Meta의 AI 모델, 특히 Llama 3 모델을 Siri에 통합하지 않기로 결정했습니다. 이 결정은 Apple이 Meta의 AI 모델 통합을 논의 중이라는 보도가 나온 지 며칠 만에 이루어졌습니다.

Apple의 결정 주된 이유는 Meta의 프라이버시 관행에 대한 우려입니다. Apple은 Meta의 사용자 프라이버시 접근 방식에 대해 비판적인 입장을 취해왔으며, 여러 프라이버시 관련 스캔들을 겪은 회사와 제휴하고 싶지 않은 것으로 보입니다.

Apple이 AI 모델을 직접 호스팅하고 프라이버시 측면을 통제할 수 있었음에도 불구하고, 여전히 이 통합을 거부했습니다. 이는 Apple의 우려가 단순한 기술적 구현을 넘어 Meta와의 제휴에 따른 평판 위험까지 확장된다는 것을 시사합니다.

Apple의 이번 결정은 사용자 프라이버시에 대한 회사의 헌신과 핵심 가치를 희생하지 않고서는 잠재적인 AI 기능을 포기할 수 있다는 것을 보여줍니다. 또한 기술 업계에서 프라이버시의 중요성이 커지고 있음을 강조합니다.