Mô hình Grok 1.5 Vision mới đã chứng minh được hiệu suất ấn tượng trên một loạt các tiêu chuẩn đánh giá về thị giác. Trong số bảy tiêu chuẩn thị giác được đánh giá, Grok đã vượt qua các mô hình đa phương tiện hiện có trên ba tiêu chuẩn, bao gồm Math Vista, Text Visual Q&A và bộ dữ liệu Real World Q&A mới được phát hành. Thậm chí trên các tiêu chuẩn khác, hiệu suất của Grok cũng rất gần với các mô hình hàng đầu khác như GPT-4, CLIP, Opus và Gemini Pro.

Các ví dụ được trình bày trong bài đăng trên blog cho thấy khả năng của Grok trong việc dịch các sơ đồ quy trình thành mã Python hoạt động, tính toán thông tin về calo từ nhãn dinh dưỡng, tạo câu chuyện dựa trên hình ảnh và thậm chí hiểu được sự hài hước trong các meme. Những khả năng này chứng tỏ sự hiểu biết đa phương tiện mạnh mẽ của Grok, cho phép nó xử lý và hiểu cả thông tin hình ảnh và văn bản một cách liền mạch.

Việc phát hành bộ dữ liệu Real World Q&A, bao gồm các hình ảnh từ nhiều nguồn khác nhau, bao gồm cả phương tiện, mở rộng phạm vi hiểu biết về thị giác của Grok. Bộ dữ liệu này có thể được sử dụng để phát triển và đánh giá các mô hình dựa trên thị giác khác, góp phần thúc đẩy sự tiến bộ của trí tuệ nhân tạo đa phương tiện.

Mặc dù nhiều khả năng của Grok không hoàn toàn mới, nhưng việc nền tảng X đã thành công trong việc tích hợp các chức năng này vào một mô hình duy nhất là rất ấn tượng. Khi mô hình Grok 1.5 Vision trở nên sẵn sàng cho những người dùng thử nghiệm sớm và người dùng Grok hiện có, sẽ rất thú vị để xem nó hoạt động như thế nào trong các ứng dụng thực tế và so sánh với các mô hình đa phương tiện tiên tiến khác.

Khả năng ấn tượng của Gro 1.5 Vision bao gồm khả năng tạo ra mã Python hoạt động từ các hình ảnh của sơ đồ quyết định. Tính năng này cho phép người dùng chỉ cần cung cấp một hình ảnh của sơ đồ, và mô hình sau đó có thể dịch thông tin trực quan đó thành mã Python có thể thực thi.

Mô hình Gro 1.5 Vision mới đã chứng minh được những khả năng ấn tượng trong việc hiểu và xử lý thông tin trực quan, bao gồm khả năng trích xuất dữ liệu từ nhãn dinh dưỡng. Trong một trong những ví dụ được cung cấp, mô hình đã có thể xác định chính xác số calo mỗi lát và sau đó tính toán tổng số calo cho một số lượng lát khác nhau.

Gro 1.5 Vision, phiên bản mới nhất của mô hình đa phương tiện của nền tảng X, đã chứng minh được những khả năng ấn tượng trong việc hiểu và xử lý thông tin trực quan. Mô hình này giờ đây có thể tạo ra câu chuyện dựa trên hình ảnh và thậm chí nhận ra sự hài hước trong các meme.

Bộ dữ liệu Real-World Q&A mới được phát hành bởi nền tảng X là một nguồn tài nguyên quý giá để phát triển và kiểm tra các mô hình thị giác. Bộ dữ liệu này bao gồm khoảng 1.700 hình ảnh, bao gồm cả những hình ảnh chụp từ phương tiện, có thể được sử dụng để đánh giá khả năng của một mô hình trong việc trích xuất dữ liệu và thông tin từ các đầu vào trực quan trong thế giới thực.