人工智能领域一直充满着令人兴奋的发展,本周尤其值得关注。我们见证了LLaMA 3的发布,这是迄今为止最好的开源大型语言模型,现在我们又有了来自微软AI团队的Phi-3模型的问世。

Phi-3是Phi系列的第三代,这是一组利用Phi-2相同训练技术的新型小型模型。目标是生产出小巧但高性能的模型。随着Phi-3的发布,微软推出了该系列的四个新模型:

1. Phi-3 Mini:拥有4K的上下文窗口。
2. Phi-3 Mini 128K:即使只有3.8B个参数,也有令人印象深刻的128K上下文窗口。
3. Phi-3 Small:这个7B参数的模型性能超过了Megatron和LLaMA 3。
4. Phi-3 Medium:这个14B参数的模型在各种基准测试中,包括评估多任务能力的MML基准,都超过了GPT-3.5和Megatron 8.7B。

Phi-3模型的突出特点是它们出色的效率和性能,甚至可以在移动设备上运行。4位量化的Phi-3 Mini在iPhone 14上每秒可以生成超过12个令牌,展示了它能够在各种设备上原生运行的能力。

要开始使用Phi-3模型,您可以使用Hugging Face的Transformers库,或者使用LM Studio本地安装这些模型。这些模型主要针对基于知识的任务,如问答,而不是复杂的代码生成或推理。

虽然Phi-3模型可能无法擅长生成完整的蛇梯棋游戏,但它们在战略问题解决等领域展现了出色的能力,正如它们在城市规划提示上的出色表现所证明的那样。它们提供的详细而创新的解决方案证明了它们的多功能性。

总的来说,Phi-3模型代表了紧凑型高性能语言模型发展的一个令人兴奋的进步。它们的效率、多功能性和出色的基准测试结果使它们成为AI生态系统中的宝贵补充。