RouteLLM是由LM.org開發的開源框架,提供了一種成本效益的解決方案,在不影響性能的情況下部署大型語言模型(LLM)。RouteLLM的關鍵創新在於它能夠將查詢路由到最合適的LLM,平衡成本和質量。

該框架解決了部署LLM時面臨的困境,即使用最大和最強大的模型會導致最高質量的響應,但成本可能過高。RouteLLM通過首先將每個查詢通過路由系統進行處理來解決這個問題,該系統決定使用哪個LLM。可以由較弱和較便宜的模型處理的查詢被路由到這些模型,而更複雜的查詢被路由到更強大的模型,從而在保持響應質量的同時最大限度地降低整體成本。

負責RouteLLM的研究人員已經證明,在不影響性能的情況下實現了顯著的成本降低。他們的實驗表明,與只使用最強大的模型(GPT-4)相比,在MT基準測試上節省了超過85%的成本,在MLU上節省了45%,在GSMA-K上節省了35%,同時仍能達到其95%的性能。

RouteLLM通過利用偏好數據實現了這些令人印象深刻的結果,這使路由系統能夠學習不同模型的優缺點以及它們與特定查詢的關係。研究人員探索了各種路由技術,包括相似度加權排名、矩陣分解和基於語言模型的分類器,所有這些技術在結合LLM為基礎的判斷器後,都顯示出明顯優於隨機路由基線的改進。

此外,RouteLLM框架還展示了良好的概括性,因為研究人員能夠在不需要重新訓練的情況下使用相同的路由器在不同的模型對(如CLA-3 Opus和Llama 38B)之間進行路由,並獲得類似的成本節省和性能收益。

總的來說,RouteLLM代表了大型語言模型部署領域的一個令人興奮的發展,提供了一種成本效益高且性能出色的解決方案,可以為AI應用程序開啟新的可能性,並推動LLM的發展。