吉米尼1.5 Pro 令人印象深刻的能力背后的秘诀在于其长时间的上下文窗口,这使它能够记住大量的信息。这意味着它可以阅读和理解整本书籍、代码库甚至电影,并就其内容进行详细讨论。

同行学者已经以令人remarkable的方式使用吉米尼1.5 Pro,例如让它总结他们的举重训练,包括组数和次数,或从录制的讲座中生成讲座笔记。这款AI还可以快速整理个人书架的内容,并就冗长的法律文件进行深入的问答。

关于吉米尼1.5 Pro的论文指出,它可以处理高达1000万个令牌(相当于10部电影)的内容,准确率达到99.7% - 这是一个惊人的成就,即使是GPT-4 Turbo也无法匹敌。此外,该模型还展示了学习和翻译濒危的卡拉芒语的能力,有效地保护了文化知识。

然而,这个模型令人印象深刻的能力也带来了一个重大缺点 - 变换器架构的二次计算和内存复杂性。这意味着随着上下文窗口大小的增加,处理时间会呈指数级增长,可能需要长达1.5小时才能处理10部电影的查询。这种局限性是变换器设计固有的,给实际部署带来了挑战。

尽管谷歌DeepMind发布了吉米尼1.5 Pro,这表明可能会有解决方案出现,但目前的技术状况仍存在在模型的出色记忆能力和计算效率之间的权衡。随着AI领域的不断发展,研究人员如何解决这一挑战并释放长上下文语言模型的全部潜力,这将是令人兴奋的。