元宇宙正在通过其开源项目大展拳脚,看起来他们已经在着手开发Llama 4,可能会在今年年底推出。不过,Llama 3.1在多个不同的能力上都展现出了非常有前景的表现,如掩码编码、指令跟随等。

我发现人们并没有太多讨论的一个部分,但我对此非常兴奋,那就是元宇宙似乎开始真正投资于与代理相关的用例。他们提到,他们的目标不仅是将Llama定位为一个模型,还要将其定位为一个系统,提供工具,使开发者能够构建自己的定制代理,以及新类型的代理行为。

他们有一份名为"Llama代理系统"的公开报告,其中展示了Llama堆栈的整个组件。这包括Llama Guard等专门训练的模型,用于内容审核,以及Prompt Guard,用于防止逃狱,以及Koser,用于防止大型语言模型产生不安全的代码。

但对我来说最令人兴奋的部分是工具调用功能。工具调用可能是我不得不使用OpenAI的主要原因,因为他们的模型在与工具调用相关的代理用例方面要好得多。如果你不知道什么是工具调用,它是OpenAI在去年年底引入的一个概念。本质上,它是一种训练有素的模型,根据用户任务,预测需要调用哪个函数,以及该函数的输入,这样我们就可以获取JSON输出,实际运行该函数,并将信息反馈给大型语言模型。

初步评估结果显示,Llama 3.1的工具调用能力似乎在其他模型(如GPT-4和Chinchilla 3.5)中表现出色。然而,大多数这些评估基准都是关于零样本工具使用,这可能并不完全代表实际的工具使用性能,因为现实世界的代理用例要复杂得多,涉及多轮工具使用、规划和推理能力。

好消息是,在Llama 3.1模型中,似乎他们专门训练了该模型用于这些多轮对话,因此,如果查询需要多次工具调用,该模型可以编写分步计划,按顺序调用工具,并在每次工具调用后进行推理。

总的来说,Llama 3.1的工具调用能力是我们拥有一个强大的模型作为OpenAI替代品的一个非常令人兴奋的步骤。