人工智慧領域一直充滿著令人興奮的發展,本週更是特別值得關注。我們見證了LLaMA 3的發佈,這是迄今為止最好的開源大型語言模型,現在我們又有來自微軟AI團隊的Phi-3模型的問世。

Phi-3是Phi系列的第三代,這是一組利用與Phi-2相同訓練技術的新型小型模型。目標是生產出體積小但性能卓越的模型。隨著Phi-3的發佈,微軟推出了該系列的四個新模型:

1. Phi-3 Mini:擁有4K的上下文窗口。
2. Phi-3 Mini 128K:即使只有3.8B個參數,也擁有驚人的128K上下文窗口。
3. Phi-3 Small:這個7B參數的模型的性能超越了Megatron和LLaMA 3。
4. Phi-3 Medium:這個14B參數的模型在各種基準測試中,包括評估多範圍任務的MML基準測試,都超越了GPT-3.5和Megatron 8.7B。

Phi-3模型的突出特點是其出色的效率和性能,甚至可以在移動設備上運行。4位量化的Phi-3 Mini在iPhone 14上每秒可以生成超過12個tokens,展示了它能夠在各種設備上原生運行的能力。

要開始使用Phi-3模型,您可以使用Hugging Face的Transformers庫,或者使用LM Studio本地安裝這些模型。這些模型主要設計用於基於知識的任務,如問答,而不是複雜的代碼生成或推理。

雖然Phi-3模型可能無法擅長於生成完整可用的蛇梯棋遊戲,但它們在戰略問題解決等領域展現了出色的能力,正如它們在城市規劃提示上的出色表現所證明的那樣。它們提供的詳細而創新的解決方案證明了它們的多功能性。

總的來說,Phi-3模型代表了緊湊型高性能語言模型發展的一個令人興奮的里程碑。它們的效率、多功能性和出色的基準測試結果使它們成為AI生態系統中的一個寶貴補充。