Phiên bản GPT-4 Omni mới được OpenAI phát hành đã giới thiệu một mô hình mạnh mẽ có thể lý luận qua âm thanh, thị giác và văn bản theo thời gian thực. Mô hình mới này cung cấp nhiều khả năng ấn tượng:

• Tương tác đa phương thức: GPT-4 Omni có thể tiếp nhận đầu vào dưới dạng văn bản, âm thanh, hình ảnh và video, và tạo ra đầu ra bằng bất kỳ sự kết hợp nào của các phương thức này. Điều này cho phép các tương tác giữa con người và máy tính diễn ra tự nhiên hơn.

• Phản hồi nhanh chóng: Mô hình có thể phản hồi đầu vào âm thanh trong khoảng 232 mili giây trung bình, phù hợp với tốc độ của cuộc trò chuyện giữa con người.

• Cải thiện hiệu suất: GPT-4 Omni vượt trội hơn các mô hình trước đây trên các tiêu chuẩn đánh giá khác nhau, bao gồm đánh giá văn bản, ASR âm thanh và dịch thuật âm thanh.

• Hiệu quả về chi phí: Mô hình mới rẻ hơn 50% so với GPT-4 Turbo trước đây, giúp nó trở nên dễ tiếp cận hơn cho người dùng API. Phiên bản miễn phí của ChatGPT hiện sử dụng GPT-4 Omni, cho phép nhiều người dùng hơn được hưởng lợi từ các khả năng của nó.

Thông báo về GPT-4 Omni mang lại những cải thiện đáng kể về giá cả và hiệu quả chi phí so với các mô hình trước đây. Một số điểm nổi bật:

• Chi phí đầu vào đã giảm xuống còn $0,005 cho 1.000 token, từ $0,01 đối với GPT-4 Turbo.
• Chi phí đầu ra hiện là $0,015 cho 1.000 token, giảm từ $0,03 đối với GPT-4 Turbo.
• Giá thị giác cũng rẻ hơn nhiều, khiến việc sử dụng GPT-4 Omni trở nên hiệu quả hơn về chi phí.
• So với GPT-3.5 Turbo, GPT-4 Omni cung cấp mức giảm giá 50%, khiến nó trở nên dễ tiếp cận hơn cho các nhà phát triển và người dùng.
• Phiên bản miễn phí của ChatGPT hiện sử dụng mô hình GPT-4 Omni, cho phép nhiều người dùng hơn được hưởng lợi từ các khả năng và hiệu suất cải thiện mà không tốn thêm chi phí.
• Với những thay đổi về giá cả này, bài báo gợi ý rằng không còn lý do gì để sử dụng mô hình GPT-4 Turbo cũ, vì GPT-4 Omni cung cấp hiệu suất và hiệu quả chi phí tốt hơn.

Open AI đã đưa mô hình GPT-4 Omni mới qua các bài kiểm tra chuẩn để đánh giá hiệu suất của nó. Mô hình đã được so sánh với các mô hình ngôn ngữ khác như GPT-4 Turbo, GPT-4 gốc, Claude 3, Opus Gemini Pro 1.5, Gemini 1.0 và LLaMA 3.

Kết quả cho thấy GPT-4 Omni vượt trội hầu hết các mô hình khác trên các loại kiểm tra khác nhau:

• Đánh giá văn bản: GPT-4 Omni đạt được điểm số cao nhất.
• ASR âm thanh (Nhận dạng giọng nói tự động): GPT-4 Omni vượt trội hơn phiên bản Whisper 3 trước đây, với tỷ lệ lỗi thấp hơn.
• Dịch thuật âm thanh: GPT-4 Omni vượt trội tất cả các mô hình khác trong bài kiểm tra này.
• M3 Exam Zero-Shot: GPT-4 Omni vượt trội hơn mô hình GPT-4 gốc.
• Đánh giá hiểu biết thị giác: GPT-4 Omni đạt được điểm số cao nhất trên từng bài kiểm tra này.

Bài báo cũng đề cập rằng khả năng tokenization ngôn ngữ cải thiện của GPT-4 Omni góp phần vào hiệu quả chi phí của nó. Mặc dù việc giảm token cho tiếng Anh chỉ là 1,1 lần, nhưng khi được mở rộng trên khối lượng văn bản lớn, việc tiết kiệm này có thể đáng kể.

Bài báo lưu ý rằng một trong những lý do khiến GPT-4 Omni rẻ hơn là khả năng biểu diễn ngôn ngữ bằng ít token hơn. Mặc dù số token cho tiếng Anh chỉ giảm 1,1 lần, nhưng khi mở rộng trên hàng trăm nghìn từ, điều này có thể dẫn đến việc tiết kiệm chi phí đáng kể.

Bài báo giải thích rằng câu đầy đủ trước đây cần 27 token nay chỉ cần 24 token. Khả năng tokenization và biểu diễn ngôn ngữ cải thiện này cho phép GPT-4 Omni sử dụng token hiệu quả hơn, dẫn đến mức giảm giá 50% so với các mô hình trước đây.

Bài báo gợi ý rằng khả năng mô hình hóa ngôn ngữ nâng cao này là yếu tố then chốt khiến GPT-4 Omni trở thành lựa chọn hiệu quả về chi phí hơn cho các nhà phát triển và người dùng, đặc biệt là đối với các ứng dụng liên quan đến xử lý khối lượng lớn văn bản qua nhiều ngôn ngữ.

Giống như tất cả các mô hình AI khác của họ, OpenAI rất tập trung vào tính an toàn và giới hạn của GPT-4 Omni. Bài báo lưu ý rằng mô hình vẫn còn một số hạn chế, chẳng hạn như thỉnh thoảng gián đoạn các cuộc trò chuyện và cần phải được nói rõ khi người dùng đã hoàn thành. Đây là vấn đề vẫn tồn tại ngay cả với thời gian phản hồi cải thiện của GPT-4 Omni.

Bài báo cũng đề cập rằng mô hình có các tính năng an toàn và giới hạn được tích hợp để giải quyết các rủi ro tiềm ẩn hoặc đầu ra có hại. Tuy nhiên, các chi tiết cụ thể về các biện pháp an toàn này không được cung cấp trong phần này.

Nói chung, mặc dù GPT-4 Omni đại diện cho một bước tiến đáng kể trong các mô hình ngôn ngữ của OpenAI, công ty vẫn thận trọng và cảnh giác về các rủi ro và hạn chế tiềm ẩn của công nghệ này. Việc giám sát và hoàn thiện liên tục các tính năng an toàn của mô hình sẽ có thể là ưu tiên khi nó được triển khai rộng rãi hơn.

GPT-4 Omni, mô hình cờ đầu mới nhất từ OpenAI, hiện đã được phổ biến rộng rãi và dễ tiếp cận với người dùng. Dưới đây là các chi tiết chính:

• Các mô hình văn bản và hình ảnh GPT-4 Omni hiện đã được tích hợp vào phiên bản miễn phí của ChatGPT, cho phép tất cả người dùng truy cập các khả năng này.
• Phiên bản miễn phí của ChatGPT hiện có giới hạn tin nhắn cao hơn 5 lần, khiến nó trở nên dễ tiếp cận hơn nhiều cho người dùng.
• Một phiên bản mới của chế độ giọng nói với tích hợp GPT-4 Omni dự kiến sẽ được triển khai trong vài tuần tới, cung cấp các tương tác dựa trên âm thanh một cách liền mạch.
• GPT-4 Omni có sẵn dưới dạng mô hình văn bản và thị giác độc lập thông qua API của OpenAI, cung cấp cho các nhà phát triển tốc độ gấp đôi và giá rẻ hơn một nửa so với mô hình GPT-4 Turbo trước đây.
• OpenAI đang mạnh mẽ khuyến khích tất cả các nhà phát triển chuyển sang mô hình GPT-4 Omni, vì nó đã trở thành lựa chọn được khuyến nghị với gần như không có trường hợp sử dụng cho mô hình GPT-4 Turbo cũ.
• Giá cả của GPT-4 Omni đã được giảm đáng kể, với chi phí đầu vào giảm xuống còn $0,005 cho 1.000 token và chi phí đầu ra là $0,015 cho 1.000 token, khiến nó trở nên dễ tiếp cận hơn cho nhiều ứng dụng.

Tóm lại, khả năng tiếp cận và sẵn có của GPT-4 Omni đã được mở rộng đáng kể, với mô hình được tích hợp vào phiên bản miễn phí của ChatGPT và cung cấp thông qua API của OpenAI với mức giá cả hợp lý hơn, khiến nó trở thành lựa chọn hấp dẫn cho các nhà phát triển và người dùng.

Khả năng tạo ra các nhân vật nhất quán qua nhiều cảnh là một năng lực chính của mô hình GPT-4 Omni mới. Thông qua việc được đào tạo trên các đầu vào hình ảnh, mô hình này giờ đây có thể tạo ra các đầu ra hình ảnh duy trì các thuộc tính nhân vật như trang phục, phụ kiện và tư thế, ngay cả khi nhân vật được đặt trong các kịch bản khác nhau.

Trong các ví dụ được cung cấp, mô hình có thể miêu tả nhân vật "Sally" một cách nhất quán như một nhân viên giao thư đang mỉm cười, với túi xách và đồng phục của cô vẫn giữ nguyên qua các cảnh khác nhau. Đây là một cải tiến đáng kể so với các mô hình trước đây, những mô hình này phải dựa vào các mô tả văn bản để cố gắng duy trì tính nhất quán của nhân vật.

Tốc độ và độ chính xác của các đầu ra hình ảnh của GPT-4 Omni cũng cho phép các tương tác liền mạch và tự nhiên hơn, trong đó mô hình có thể nhanh chóng phản hồi lại các lời nhắc hình ảnh và tạo ra các phản hồi hình ảnh phù hợp. Điều này mở ra những khả năng mới cho các ứng dụng yêu cầu biểu diễn nhân vật nhất quán, như kể chuyện tương tác, trợ lý AI và thậm chí phát triển trò chơi điện tử.

Mặc dù các ví dụ trong giao diện ChatGPT có thể không hoàn toàn thể hiện được toàn bộ khả năng của mô hình, nhưng tiềm năng của việc tạo nhân vật nhất quán với GPT-4 Omni là rõ ràng. Các nhà phát triển có thể tận dụng tính năng này để tạo ra những trải nghiệm hấp dẫn và sống động hơn cho người dùng, và tiếp tục khám phá các khả năng của các hệ thống AI đa phương thức.

Mô hình GPT-4 Omni mới của OpenAI là một bước tiến đáng kể trong xử lý ngôn ngữ tự nhiên, kết hợp các đầu vào văn bản, âm thanh và thị giác để cung cấp các tương tác theo thời gian thực, giống con người. Hiệu suất ấn tượng của mô hình trên các tiêu c