Meta đang nhắm đến mục tiêu phát triển mô hình AI tiên tiến nhất trong ngành vào năm 2025. Họ lên kế hoạch huấn luyện mô hình Llama 4 sắp tới của họ trên dữ liệu gấp 10 lần so với Llama 3, mà họ cho rằng đã cạnh tranh được với các mô hình tiên tiến nhất.

Zuckerberg tuyên bố rằng Meta thà xây dựng quá nhiều năng lực tính toán hơn là không đủ, vì họ đang lên kế hoạch cho nhu cầu tính toán và dữ liệu trong vài năm tới. Lượng tính toán cần thiết để huấn luyện Llama 4 có thể sẽ gần 10 lần so với những gì được sử dụng cho Llama 3, và các mô hình trong tương lai sẽ tiếp tục phát triển vượt xa hơn nữa.

Theo Adam D'Angelo, Giám đốc điều hành của Quora và là thành viên hội đồng quản trị của OpenAI, trí tuệ nhân tạo tổng quát (AGI) có thể được đạt được trong vòng 5 đến 15 năm tới. D'Angelo đưa ra dự đoán này trong một sự kiện gần đây, cho rằng sự xuất hiện của AGI sẽ là một thay đổi rất quan trọng đối với thế giới.

OpenAI, công ty đứng sau mô hình ngôn ngữ phổ biến GPT, đã phát triển nội bộ một hệ thống phân loại 5 cấp độ để theo dõi tiến độ xây dựng AGI. Ba cấp độ đầu tiên bao gồm:

1. Chatbot với khả năng giao tiếp bằng ngôn ngữ.
2. Các hệ thống lý luận và giải quyết vấn đề ở mức độ con người.
3. Các tác nhân và hệ thống có thể thực hiện hành động.

Mô hình thử nghiệm mới của Google, Gemini Pro 0801, đã được thử nghiệm trong lĩnh vực chatbot trong tuần qua, thu hút hơn 20.000 phiếu bầu từ cộng đồng. Lần đầu tiên, Gemini đã giành vị trí số một, vượt qua GPT-4 và CLAUDE 3.5 với điểm số ấn tượng là 1.300 và cũng đạt vị trí đầu tiên trên bảng xếp hạng tầm nhìn.

Gemini Pro xuất sắc trong các nhiệm vụ đa ngôn ngữ và mang lại hiệu suất mạnh mẽ trong các lĩnh vực kỹ thuật, câu lệnh khó và lập trình. Đây là một thành tựu đáng kể, vì Gemini 1.5 Pro đã vượt qua các mô hình GPT-4 và CLAUDE 3.5 rất năng lực.

Đáng chú ý, Google không gắn nhãn mô hình này là Gemini 2, gợi ý rằng họ có thể đã triển khai một số kỹ thuật lý luận hoặc huấn luyện sau bổ sung để nâng cao khả năng của mô hình. Cách tiếp cận này tương tự như những gì Anthropic đã làm với CLAUDE 3.5, nơi mô hình thể hiện khả năng lý luận được cải thiện so với các phiên bản trước.

Nvidia đang làm việc để đơn giản hóa và tăng tốc phát triển robot nhân dạng với sáng kiến Dự án Roo của họ. Công ty đang giới thiệu một bộ công cụ cho các nhà phát triển trong hệ sinh thái robot nhân dạng để xây dựng các mô hình AI của họ một cách hiệu quả hơn.

Các thành phần chính của phương pháp tiếp cận của Nvidia bao gồm:

1. Đường ống tạo dữ liệu tổng hợp: Nvidia bắt đầu với các minh họa do con người thu thập bằng các thiết bị thực tế ảo như Apple Vision Pro. Sau đó, họ nhân lên hàng nghìn lần bằng các công cụ mô phỏng của Nvidia như Omniverse, RoboSuite và MimicGen.

2. Cơ sở hạ tầng tính toán phân tán: Nvidia đang khai thác các nền tảng tính toán DGX, OVX và Jetson Thor của mình để cung cấp quy trình phát triển. DGX xử lý các video và văn bản để huấn luyện mô hình nền tảng đa phương thức, OVX chạy ngăn xếp mô phỏng, và Jetson Thor được sử dụng để kiểm tra mô hình trên các robot thực tế.

3. Mô phỏng dựa trên Omniverse: Khung mô phỏng Omniverse của Nvidia, được tích hợp vào Isaac Lab, cho phép các nhà phát triển tạo ra một số lượng lớn các môi trường và bố cục để tăng tính đa dạng của dữ liệu huấn luyện.

4. Công cụ được hỗ trợ bởi AI sinh tạo: Công cụ MimicGen của Nvidia giúp tạo ra các tập dữ liệu chuyển động tổng hợp quy mô lớn dựa trên số lượng bản ghi gốc nhỏ, mở rộng thêm dữ liệu huấn luyện.

Các nhà nghiên cứu tại ICML 2024 đã trình bày một kỹ thuật thiết kế lời nhắc mới được gọi là "Lập kế hoạch như một đồ thị" có thể cải thiện đáng kể hiệu suất của các mô hình ngôn ngữ trong các nhiệm vụ phức tạp, đa bước.

Thông điệp then chốt đằng sau kỹ thuật này là các mô hình ngôn ngữ hiện tại gặp khó khăn với lập kế hoạch bất đồng bộ - khả năng song song hóa một số nhiệm vụ phụ trong khi thực hiện tuần tự các nhiệm vụ khác. Để giải quyết vấn đề này, phương pháp "Lập kế hoạch như một đồ thị" yêu cầu mô hình trước tiên tạo ra một biểu diễn dạng đồ thị của nhiệm vụ, nắm bắt các phụ thuộc giữa các nhiệm vụ phụ. Mô hình sau đó có thể sử dụng đồ thị này để xây dựng một kế hoạch tối ưu để hoàn thành toàn bộ nhiệm vụ.

Các nhà nghiên cứu nhận thấy rằng phương pháp này vượt trội hơn so với các phương pháp cơ bản trên nhiều mô hình ngôn ngữ. Ví dụ, trong một nhiệm vụ liên quan đến việc chuẩn bị bữa sáng (ví dụ: pha cà phê, chiên trứng, làm bánh mì nướng), phương pháp "Lập kế hoạch như một đồ thị" đã giảm tổng thời gian hoàn thành nhiệm vụ hơn 20% so với lập kế hoạch tuần tự.