吉米尼1.5 Pro 令人印象深刻的能力背後的秘訣在於它的長上下文窗口,這使它能夠記住大量的信息。這意味著它可以閱讀和理解整本書籍、代碼庫甚至電影,並就其內容進行詳細討論。

同行學者已經以驚人的方式使用吉米尼1.5 Pro,例如讓它總結他們的舉重訓練,包括組數和次數,或從錄製的講座中生成講義筆記。這款AI還可以快速整理個人書架的內容,並就冗長的法律文件回答深入的問題。

關於吉米尼1.5 Pro的論文指出,它可以處理高達1000萬個標記(相當於10部電影),準確率達99.7% - 這是一項驚人的成就,即使是GPT-4 Turbo也無法匹敵。此外,該模型還展示了學習和翻譯瀕危的卡拉芒語的能力,有效地保存了文化知識。

然而,該模型令人印象深刻的能力也存在一個重大缺陷 - 變形金剛架構的二次計算和記憶複雜度。這意味著,隨著上下文窗口大小的增加,處理時間會呈指數級增長,可能需要長達1.5小時才能處理10部電影的查詢。這種限制是變形金剛設計的固有特性,對實際部署構成挑戰。

儘管谷歌DeepMind發布了吉米尼1.5 Pro,這表明可能會有解決方案,但目前的技術狀態存在在模型的出色記憶力和計算效率之間的權衡。隨著AI領域的不斷發展,研究人員如何解決這一挑戰並釋放長上下文語言模型的全部潛力將是令人興奮的。