Chuyện đầu tiên hôm nay là về một công ty chip AI mới được gọi là Etched, họ tuyên bố có thể tạo ra hơn 500.000 token mỗi giây khi chạy LLaMA 70B. Chip này, được gọi là Sohu, là ASIC (mạch tích hợp ứng dụng cụ thể) đầu tiên dành cho các mô hình Transformer.

Sohu được cho là nhanh hơn và rẻ hơn hơn 10 lần so với thế hệ tiếp theo của GPU Blackwell của Nvidia. Một máy chủ Sohu có thể chạy hơn 500.000 token LLaMA 70B mỗi giây, nhanh hơn 20 lần so với Nvidia H100 và 10 lần so với Blaize B2.

Lợi thế chính của Sohu là sự chuyên biệt hóa cho các mô hình Transformer, là nền tảng của hầu hết các sản phẩm AI chính. Công ty tuyên bố khi các mô hình Transformer trở nên phổ biến hơn, các chip tùy chỉnh như Sohu sẽ trở nên thiết yếu, vì GPU không cải thiện mật độ tính toán nhanh đủ để theo kịp.

Etched tin rằng kiến trúc chạy Transformer nhanh nhất và rẻ nhất trên phần cứng sẽ thắng "xổ số phần cứng". Họ cho rằng các phòng thí nghiệm AI đang chi hàng trăm triệu để tối ưu hóa các kernel cho Transformer, và các công ty khởi nghiệp đang sử dụng các thư viện phần mềm Transformer chuyên biệt, khiến việc "giết" Transformer trên GPU trở nên khó khăn.

OpenAI đã thông báo về việc trì hoãn việc triển khai chế độ giọng nói nâng cao cho ChatGPT, được trình diễn trước đây trong bản cập nhật mùa xuân. Công ty này đưa ra lý do là cần cải thiện khả năng phát hiện và từ chối một số nội dung nhất định, cũng như nâng cao trải nghiệm người dùng và chuẩn bị cơ sở hạ tầng để mở rộng quy mô lên hàng triệu người dùng trong khi vẫn duy trì phản hồi theo thời gian thực.

Công ty dự định bắt đầu triển khai phiên bản alpha của chế độ giọng nói nâng cao cho một nhóm nhỏ người dùng ChatGPT Plus vào cuối tháng 6, với mục tiêu làm cho nó có sẵn cho tất cả người dùng Plus vào mùa thu. Tuy nhiên, lịch trình chính xác sẽ phụ thuộc vào việc đáp ứng các tiêu chuẩn an toàn và độ tin cậy cao của họ.

OpenAI cũng đang làm việc để triển khai các khả năng video và chia sẻ màn hình mới, sẽ được công bố riêng. Chế độ giọng nói nâng cao được kỳ vọng sẽ đưa ChatGPT lại gần hơn với các cuộc trò chuyện tự nhiên và theo thời gian thực với AI, với khả năng hiểu và phản hồi bằng cảm xúc và các tín hiệu phi ngôn ngữ.

Mô hình Claude 3.5 của Anthropic đã có bước tiến đáng kể, giành vị trí số một trong Arena mã hóa Arita hard prompts và vị trí số hai trong bảng xếp hạng tổng thể. Mô hình Sonet mới đã vượt qua Opus với chi phí thấp hơn, khiến nó cạnh tranh được với các mô hình Frontier như GPT-4 và Gemini 1.5 Pro trên mọi mặt.

Trong một video trước đó, người sáng tạo đã kiểm tra mô hình Claude 3.5 Sonet và nhận thấy đây là mô hình tốt nhất mà họ từng kiểm tra. Mô hình này đã hoàn toàn phá vỡ các bài kiểm tra của người sáng tạo, khiến họ yêu cầu các bài kiểm tra mới, thách thức hơn.

So sánh giữa Claude 3.5 và GPT-4 trong các nhiệm vụ lập trình cho thấy rằng Claude 3.5 vượt trội hơn GPT-4 về tỷ lệ thành công của nhiệm vụ và thành công của dự án hoàn chỉnh, mặc dù GPT-4 có tỷ lệ thành công xây dựng cao hơn một chút. Ngoài ra, Claude 3.5 dài dòng hơn, có thể có lợi cho các đoạn mã dài, nhưng có thể làm chậm quá trình sinh ra. Mô hình này cũng có xu hướng ít đáng tin cậy hơn trong việc tuân theo hướng dẫn trong các lời nhắc lớn so với GPT-4.

Video được người dùng Twitter chubby trình diễn thực sự đáng kinh ngạc, vì nó thể hiện khả năng đáng kinh ngạc của AI trong việc tạo ra các đoạn video game thực tế. Hình ảnh, có vẻ như lấy cảm hứng từ một trò chơi kiểu Call of Duty, thực sự rất chân thực, với âm thanh và hình ảnh do AI tạo ra hòa quyện một cách hoàn hảo để tạo ra một trải nghiệm đắm chìm.

Mặc dù chất lượng của đoạn video ấn tượng, nhưng lượng tính toán cần thiết để đạt được mức độ chân thực này trong thời gian thực vẫn là một thách thức đáng kể. Như Jensen, CEO của Nvidia, đã nói, đây là tương lai của trò chơi video, và nó sẽ đưa ngành công nghiệp này lên những tầm cao mới.

Video này nổi bật sự tiến bộ nhanh chóng trong việc tạo nội dung bằng AI, nơi ranh giới giữa thực tế và tạo ra nhân tạo ngày càng mờ nhạt. Khi công nghệ tiếp tục phát triển, chúng ta có thể mong đợi sẽ thấy nhiều trải nghiệm trò chơi video do AI tạo ra còn ấn tượng và chân thực hơn trong tương lai gần.

Apple đã quyết định không tích hợp các mô hình AI của Meta, chẳng hạn như mô hình Llama 3, vào Siri do lo ngại về quyền riêng tư. Quyết định này đến chỉ vài ngày sau khi các báo cáo cho biết Apple đang trong quá trình thương lượng với Meta để tích hợp các mô hình AI của họ.

Lý do chính khiến Apple đưa ra quyết định này là lo ngại của công ty về các thực tiễn về quyền riêng tư của Meta. Apple đã nhiều lần chỉ trích cách tiếp cận của Meta đối với quyền riêng tư của người dùng, và công ty công nghệ lớn này có lẽ không muốn liên kết với một công ty đã phải đối mặt với nhiều vụ bê bối liên quan đến quyền riêng tư.

Mặc dù Apple có thể tự lưu trữ các mô hình AI và duy trì quyền kiểm soát các khía cạnh về quyền riêng tư, công ty vẫn chọn không tích hợp. Điều này cho thấy rằng mối quan ngại của Apple vượt ra ngoài chỉ việc triển khai kỹ thuật và mở rộng đến các rủi ro về uy tín khi hợp tác với Meta.

Quyết định này nổi bật cam kết của Apple về quyền riêng tư của người dùng và sự sẵn sàng từ bỏ các khả năng AI tiềm năng nếu chúng ảnh hưởng đến các giá trị cốt lõi của công ty. Nó cũng nhấn mạnh tầm quan trọng ngày càng tăng của quyền riêng tư trong ngành công nghệ, khi các công ty cân bằng giữa đổi mới và bảo vệ dữ liệu của người dùng.