RouteLLMは、LM.orgが開発したオープンソースのフレームワークで、大規模言語モデル(LLM)の展開を費用対効果の高い方法で実現します。RouteLLMの主要な革新点は、コストと品質のバランスを取りながら、最適なLLMにクエリをルーティングする機能です。

このフレームワークは、LLMを展開する際の問題に取り組んでいます。最大で最も高性能なモデルを使用すると最高の品質の応答が得られますが、非常に高価になる可能性があります。RouteLLMはこの問題を解決するため、まずクエリを処理してルーティングシステムで使用するLLMを決定します。より弱く安価なモデルで処理できるクエリはそれらのモデルにルーティングされ、より複雑なクエリは強力なモデルにルーティングされることで、全体的なコストを最小限に抑えつつ応答の品質を維持します。

RouteLLMの研究者は、パフォーマンスを損なうことなく大幅なコスト削減を実証しています。彼らの実験では、最も高性能なモデル(GPT-4)のみを使用する場合と比較して、MTベンチマークで85%以上、MLUで45%、GSMA-Kで35%のコスト削減を達成しつつ、GPT-4の95%のパフォーマンスを維持しています。

RouteLLMはこれらの印象的な結果を、嗜好データを活用することで実現しています。これにより、ルーティングシステムは各モデルの長所と短所、およびそれらがどのようにクエリと関連しているかを学習できます。研究者は、類似度加重ランキング、行列因子分解、言語モデルベースの分類器など、さまざまなルーティング手法を探索し、LLMベースの判定器を補完することで、ランダムルーティングのベースラインに比べて大幅な改善を示しました。

さらに、RouteLLMフレームワークは汎用性を示しています。研究者は、CLA-3 OpusとLlama 38Bなどの別のモデルペアにも、再トレーニングなしで同じルーターを使用し、同様のコスト削減とパフォーマンスの向上を実現しました。

全体として、RouteLLMは大規模言語モデルの展開分野における exciting な進展を表しており、コスト対効果の高い高性能なソリューションを提供し、AI アプリケーションの新しい可能性を開き、LLMの限界を押し広げることができます。

この論文は、嗜好データを活用した大規模言語モデル(LLM)ルーティングのための新しいルーター訓練アプローチを提示しています。嗜好データの各データポイントは、プロンプトと2つのモデルの応答品質の比較で構成されます。これは、1つ目のモデルの勝ち、2つ目のモデルの勝ち、またはタイの3パターンのいずれかになります。

嗜好データを使うことで、研究者は各モデルの長所と短所、およびそれらがクエリとどのように関連しているかを学習できます。これは、ルーターの訓練に効果的です。彼らは、ChatGPT Arenaのデータと data augmentationを組み合わせて、4つの異なるルーターを訓練しました:

1. 類似度加重ランキングルーター: このルーターは、類似度加重ランキングアプローチを使ってクエリをどのモデルにルーティングするかを決定します。
2. 行列因子分解モデル: このルーターは行列因子分解モデルを使って、モデルとクエリの嗜好を学習します。
3. BERTクラシファイア: このルーターはBERTベースのクラシファイアを使って、どのモデルがクエリに対してより良い性能を発揮するかを予測します。
4. 因果LLMクラシファイア: このルーターは因果言語モデルベースのクラシファイアを使って、どのモデルがクエリに対してより良い性能を発揮するかを予測します。

研究者は、これらのルーターのパフォーマンスをMTベンチ、MLU、GSM8Kベンチマークで評価し、品質を損なうことなく大幅なコスト削減(MTベンチで85%以上、MLUで45%、GSM8Kで35%)ができることを発見しました。GPT-4の性能の95%を達成しています。

重要なことに、研究者はフレームワークの汎用性も実証しました。再トレーニングなしで同じルーターを使用し、別のモデルペア(CLA 3 OpusとLlama 38B)のルーティングでも、同様のコスト効率の改善を達成しました。

研究者はChatAOのパブリックデータを使ってRouteLLMを評価し、品質を損なうことなく大幅なコスト削減を実証しました:

• MTベンチマークでは、GPT-4のみを使用する場合と比較して85%以上のコスト削減を達成しつつ、その性能の95%を維持しました。
• MLUベンチマークでは45%のコスト削減を達成しました。
• GSM8Kベンチマークでは35%のコスト削減を達成しました。

評価では、より強力で高価なモデル(GPT-4)と、より弱く安価なモデル(Megatron-LM 8x7B)の2つのモデルを対象としました。研究者はランダムルーターをベースラインとし、LLMベースの判定器で補強したさまざまなルーティング手法を探索しました。

結果は、補強されたルーティング手法がランダムルーターを大幅に上回ることを示しています。研究者はまた、CLA-3 OpusとLLaMA 38Bという別のモデルペアのルーティングにも、再トレーニングなしで同じルーターを使用し、同様のコスト削減効果を実現できることを実証しました。

RouteLLMの成功の鍵は、さまざまなモデルの長所と短所を学習し、それに応じてクエリをルーティングする能力にあります。これにより、より高価なモデルの使用を最小限に抑えつつ、高品質な応答を維持できます。この手法は、フロンティアモデルのようなGPT-4と、ローカル、オープンソースのモデルを組み合わせたハイブリッドLLMスタックの研究者のビジョンに沿っています。

RouteLLMの初期評価はGPT-4とMegatron-LM 8x7Bのモデルペアを使って行われましたが、研究者はフレームワークの汎用性も実証したいと考えていました。そのために、より高価で高性能なChinchilla 3 Opusモデルと、より安価なLlama 38Bモデルのペアを使ってMT-Benchベンチマークのルーティング結果を示しました。

重要なのは、研究者が再トレーニングを行わずに同じルーターを使用したことです。これは、RouteLLMシステムが新しいモデルの組み合わせにも適用できる汎用性を持っていることを示しています。結果は、このモデルペアでも、RouteLLMアプローチが大幅なコスト削減を維持しつつ高パフォーマンスを発揮し続けることを示しました。

この汎用性は、RouteLLMフレームワークの重要な強みです。これにより、システムを広範なLLMの構成に展開できるようになり、大規模な再トレーニングやモデル固有のチューニングを必要としません。研究者は、さまざまなモデルペアでRouteLLMの有効性を実証することで、コスト効率的なLLM展開に対するアプローチの広範な適用性と堅牢性を強調しました。

RouteLLMには、いくつかの重要な理由から期待しています:

1. コスト削減: 大規模言語モデル(LLM)の使用コストを削減できれば、多くの恩恵がもたらされます。より多くの人々やアプリケーションがAIを活用でき、プロセスにおける消費エネルギーも減少します。

2. アルゴリズムの解放: 専門家の組み合わせやChain of Thoughtなどのテクニックはトークンを多く消費するため、トークンが安価になれば、これらの強力なアルゴリズムを活用する機会が増え、より高品質な結果が得られるようになります。

3. 効率的なAI利用: RouteLLMのアプローチは、クエリを最適なモデル(ローカルまたはクラウドベース)にルーティングすることで、コスト、効率、品質を最適化します。これにより、高価なクラウドモデルへの依存が減り、エッジデバイスへのコンピューティング処理が増えます。

4. オープンソース化: 著者らがフルオープンソースのコードベースをリリースしたことは常に興味深いことです。これにより、コミュニティがフレームワークを発展させ、改善することができます。

全体として、RouteLLMは大規模言語モデルをより手頃で効率的に利用できるようにする重要な一歩を示しています。これは、ローカルモデル、エージェントベースシステム、フロンティアモデルを組み合わせたAIエコシステムのビジョンに沿うものです。品質、コスト、プライバシー、セキュリティのバランスを最適化するためです。

LM.orgによるRouteLLMの導入は、大規模言語モデル(LLM)分野における exciting な進展です。コスト効率的なLLMルーティングのためのオープンソースフレームワークを提供することで、RouteLLMは LLMの運用コストを大幅に削減しつつ、高いパフォーマンスを維持することを約束しています。

RouteLLMの主なハイライトは以下の通りです:

• GPT-4の性能の95%を維持しつつ、最大80%のコスト削減を実現。
• クエリごとに使用するLLMを決定するルーティングシステムを活用し、より弱いモデルで処理できるクエリをそれらのモデルにルーティングすることでコストを最小化。
• 類似度加重ランキング、行列因子分解、Transformerベースの分類器など、さまざまなルーティング手法を探索し、ランダムルーティングのベースラインに比べて大幅な改善を実現。
• CLA-3 OpusとLlama 38Bなどの異なるモデルペアでの評価を通じ、フレームワークの汎用性を実証。

RouteLLMの潜在的な影響は大きいです。LLMの利用コストを引き下げることで、より広範な採用を可能にし、さらに専門家の組み合わせやChain of Thoughtなどの手法を活用することで、より高品質な結果を生み出すことができます。

全体として、LM.orgによるRouteLLMのリリースは、LLMをより手頃で効率的に利用できるようにする重要な一歩であり、人工知能分野のさらなる進展につながるものです。