Bí quyết đằng sau khả năng ấn tượng của Gemini 1.5 Pro là cửa sổ ngữ cảnh dài của nó, cho phép nó ghi nhớ lượng thông tin khổng lồ. Điều này có nghĩa là nó có thể đọc và hiểu toàn bộ sách, mã nguồn và thậm chí cả phim, sau đó tham gia vào các cuộc thảo luận chi tiết về nội dung của chúng.

Các học giả đồng nghiệp đã sử dụng Gemini 1.5 Pro theo những cách đáng chú ý, chẳng hạn như yêu cầu nó tóm tắt các buổi tập tạ của họ, bao gồm số lượng bộ và lặp, hoặc tạo ghi chú bài giảng từ các bài giảng được ghi âm. AI này cũng có thể nhanh chóng lập danh mục nội dung của một kệ sách cá nhân và trả lời các câu hỏi chi tiết về các tài liệu pháp lý dài.

Gemini 1.5 Pro, một trợ lý AI đáng chú ý từ Google DeepMind, khoe khả năng đáng kinh ngạc khiến nó vượt trội so với các đối thủ: cửa sổ ngữ cảnh dài. Tính năng này cho phép Gemini ghi nhớ và xử lý lượng thông tin khổng lồ, từ toàn bộ sách đến các cảnh phim dài.

Các học giả đồng nghiệp đã khai thác sức mạnh của Gemini theo những cách sáng tạo. Họ đang sử dụng nó để ghi chú bài giảng chi tiết, tóm tắt các buổi tập tạ của họ và thậm chí lập danh mục nội dung của kệ sách cá nhân. Khả năng ghi nhớ của Gemini thực sự đáng kinh ngạc, vì nó có thể lấy lại các chi tiết khó tìm từ một tài liệu pháp lý hàng nghìn trang một cách dễ dàng.

Bài báo về Gemini 1.5 Pro tiết lộ thêm nhiều thành tích ấn tượng hơn. Mô hình này có thể học và dịch các ngôn ngữ nguy cấp như Kalamang, chỉ còn khoảng 200 người sử dụng trên toàn thế giới, với trình độ gần như bản địa. Khả năng này có tiềm năng bảo tồn và bất tử hóa các nền văn hóa và di sản ngôn ngữ nguy cấp.

Tuy nhiên, những khả năng ấn tượng của Gemini đi kèm với một nhược điểm đáng kể: độ phức tạp tính toán và bộ nhớ bậc hai của kiến trúc biến đổi transformer. Khi cửa sổ ngữ cảnh mở rộng, thời gian xử lý có thể tăng theo cấp số nhân, khiến mô hình trở nên không thực tế đối với các ứng dụng thực tế. Hạn chế này vốn có trong cấu trúc của các mạng transformer, là nền tảng của nhiều trợ lý AI hàng đầu hiện nay.

Gemma là một phiên bản mô hình mở nhỏ hơn của trợ lý AI Gemini 1.5 Pro. Mặc dù nó không có những khả năng ấn tượng như đối tác lớn hơn của nó, chẳng hạn như cửa sổ ngữ cảnh hàng triệu token, Gemma vẫn xây dựng trên nền tảng kiến trúc tương tự.

Mặc dù kích thước nhỏ hơn và độ dài ngữ cảnh giảm, Gemma vẫn có thể là một công cụ hữu ích cho người dùng. Nó có thể chạy trên các thiết bị nhỏ như điện thoại thông minh, khiến nó dễ tiếp cận hơn so với Gemini 1.5 Pro đòi hỏi nhiều tài nguyên.

Gemini 1.5 Pro là một trợ lý AI ấn tượng với khả năng ghi nhớ và truy xuất lượng thông tin khổng lồ, từ sách và mã nguồn đến toàn bộ phim. Cửa sổ ngữ cảnh dài của nó, có thể bao gồm lên đến 10 triệu token, cho phép nó tham gia vào các cuộc thảo luận chi tiết và truy xuất các chi tiết khó tìm với độ chính xác đáng kinh ngạc.

Tuy nhiên, trợ lý này không phải không có hạn chế của riêng nó. Cơ chế tự chú ý của mạng neural transformer có độ phức tạp tính toán và bộ nhớ bậc hai, nghĩa là khi kích thước cửa sổ ngữ cảnh tăng lên, thời gian xử lý có thể tăng theo cấp số nhân. Điều này có thể dẫn đến sự chậm trễ đáng kể, với sự gia tăng 10 lần về kích thước ngữ cảnh có thể dẫn đến sự gia tăng 100 lần về thời gian xử lý.