在 Meta 發布 Llama 3.1 的版本中,他們強調了函數呼叫或工具使用是一個關鍵功能。作者想要對這個功能進行測試。

作者首先設置了必要的工具和 API,包括 Groq API,它提供了與 Llama 3.1 互動的最快 API 之一。他們測試了 70 億和 8 億的 Llama 3.1 模型,以及 70 億模型的 Groq 特定微調版本。

作者從一個簡單的單一函數呼叫示例開始,然後轉向涉及並行和嵌套函數呼叫的更複雜情境。他們使用 LangTrace 可觀察性平台來跟蹤實驗過程中的令牌使用和其他指標。

結果顯示,70 億 Llama 3.1 模型表現非常出色,能夠有效處理並行和嵌套函數呼叫。8 億模型在更複雜的任務中表現不佳,而 Groq 特定微調模型表現最差,通常需要用戶提供更多資訊或澄清。

總的來說,作者得出結論,70 億 Llama 3.1 模型是用於嚴肅的函數呼叫或代理用例的最佳選擇,在這方面展現了令人印象深刻的能力。作者還強調了 LangTrace 可觀察性平台在跟蹤和理解這類實驗中大型語言模型行為方面的有用性。