RouteLLM은 LM.org에서 개발한 오픈 소스 프레임워크로, 성능을 저하시키지 않고도 대규모 언어 모델(LLM)을 비용 효율적으로 배포할 수 있는 솔루션을 제공합니다. RouteLLM의 핵심 혁신은 비용과 품질의 균형을 맞추면서 가장 적합한 LLM으로 쿼리를 라우팅할 수 있는 기능입니다.

이 프레임워크는 LLM을 배포할 때 직면하는 딜레마를 해결합니다. 가장 큰 규모의 모델을 사용하면 최고의 품질의 응답을 얻을 수 있지만, 비용이 너무 많이 들 수 있습니다. RouteLLM은 각 쿼리를 라우팅 시스템을 통해 먼저 처리하여 어떤 LLM을 사용할지 결정함으로써 이 문제를 해결합니다. 약한 모델로도 처리할 수 있는 쿼리는 이러한 모델로 라우팅하고, 더 복잡한 쿼리는 강력한 모델로 라우팅하여 전체 비용을 최소화하면서도 응답 품질을 유지할 수 있습니다.

RouteLLM 연구진은 성능을 저하시키지 않고도 상당한 비용 절감을 입증했습니다. 실험 결과, GPT-4와 같은 가장 강력한 모델만 사용할 때와 비교하여 MT 벤치마크에서 85% 이상, MLU에서 45%, GSMA-K에서 35%의 비용 절감을 달성했지만, 여전히 GPT-4의 95% 성능을 유지했습니다.

RouteLLM은 선호도 데이터를 활용하여 이러한 인상적인 결과를 달성합니다. 이를 통해 라우팅 시스템이 다양한 모델의 강점과 약점, 그리고 특정 쿼리와의 관계를 학습할 수 있습니다. 연구진은 유사도 가중 순위 매기기, 행렬 분해, 언어 모델 기반 분류기 등 다양한 라우팅 기법을 탐구했으며, 이를 LLM 기반 판단기와 결합하여 무작위 라우팅 기준보다 큰 성능 향상을 보였습니다.

또한 RouteLLM 프레임워크는 일반화 능력을 입증했습니다. 연구진은 CLA-3 Opus와 Llama 38B와 같은 다른 모델 쌍에 대해 재학습 없이 동일한 라우터를 사용할 수 있었고, 비용 절감과 성능 향상 효과를 유사하게 달성했습니다.

전반적으로 RouteLLM은 대규모 언어 모델 배포 분야에서 매우 흥미로운 발전을 나타내며, 비용 효율적이면서도 높은 성능을 제공하는 솔루션을 제공하여 AI 애플리케이션의 새로운 가능성을 열고 LLM의 한계를 넓힐 수 있습니다.

이 논문은 선호도 데이터를 활용한 대규모 언어 모델(LLM) 라우팅을 위한 새로운 라우터 학습 방법을 제시합니다. 선호도 데이터의 각 데이터 포인트는 프롬프트와 두 모델의 응답 품질 비교로 구성됩니다. 첫 번째 모델 승, 두 번째 모델 승, 또는 동점일 수 있습니다.

선호도 데이터를 사용하면 연구진이 다양한 모델의 강점과 약점, 그리고 쿼리와의 관계를 학습할 수 있어 라우터 학습에 효과적입니다. 연구진은 ChatGPT Arena 데이터와 데이터 증강을 활용하여 4가지 다른 라우터를 학습했습니다:

1. 유사도 가중 순위 매기기 라우터: 이 라우터는 유사도 가중 순위 매기기 방식으로 어떤 모델에 쿼리를 라우팅할지 결정합니다.
2. 행렬 분해 모델: 이 라우터는 행렬 분해 모델을 사용하여 모델과 쿼리 간 선호도를 학습합니다.
3. BERT 분류기: 이 라우터는 BERT 기반 분류기를 사용하여 주어진 쿼리에 대해 어떤 모델이 더 잘 수행할지 예측합니다.
4. 인과 LLM 분류기: 이 라우터는 인과 언어 모델 기반 분류기를 사용하여 주어진 쿼리에 대해 어떤 모델이 더 잘 수행할지 예측합니다.

연구진은 이러한 라우터의 성능을 MT 벤치, MLU, GSM8K 벤치마크에서 평가했으며, GPT-4와 같은 가장 강력한 모델의 95% 성능을 유지하면서도 비용을 크게 절감(MT 벤치에서 85% 이상, MLU에서 45%, GSM8K에서 35%)할 수 있음을 발견했습니다.

중요하게도, 연구진은 프레임워크의 일반화 능력을 입증했습니다. 재학습 없이 동일한 라우터를 사용하여 CLA 3 Opus와 Llama 38B와 같은 다른 모델 쌍 간 라우팅을 수행했고, 비용 효율성 향상 효과가 유사했습니다.

연구진은 ChatAO의 공개 데이터를 사용하여 RouteLLM을 평가하고, 품질을 저하시키지 않으면서도 상당한 비용 절감을 입증했습니다:

• MT 벤치마크에서 GPT-4만 사용할 때 대비 85% 이상의 비용 절감을 달성했지만, 여전히 GPT-4의 95% 성능을 유지했습니다.
• MLU 벤치마크에서 45% 비용 절감을 달성했습니다.
• GSM8K 벤치마크에서 35% 비용 절감을 달성했습니다.

이 평가에서는 더 강력하고 비싼 모델(GPT-4)과 더 약하고 저렴한 모델(Megatron-LM 8x7B)의 두 모델 경우를 다루었습니다. 연구진은 무작위 라우터를 기준으로 삼고 다양한 라우팅 기법을 탐구했으며, 이 중 LLM 기반 판단기로 학습 데이터를 보강한 기법이 무작위 라우터를 크게 능가했습니다.

결과는 보강된 라우팅 기법이 무작위 라우터에 비해 크게 우수함을 보여줍니다. 또한 연구진은 CLA-3 Opus와 LLaMA 38B와 같은 다른 모델 쌍에 대해 재학습 없이 동일한 라우터를 사용했을 때에도 유사한 비용 절감 효과를 달성했음을 입증했습니다.

RouteLLM의 성공 열쇠는 다양한 모델의 강점과 약점을 학습하고 이에 따라 쿼리를 라우팅함으로써 더 비싼 모델의 사용을 최소화하면서도 높은 품질의 응답을 유지할 수 있다는 점입니다. 이 접근법은 GPT-4와 같은 최첨단 모델과 지역 오픈 소스 모델을 결합한 하이브리드 LLM 스택을 구현하려는 연구진의 비전과 일치합니다.

RouteLLM의 초기 평가는 GPT-4와 Megatron-LM 8x7B 모델 쌍을 사용했지만, 연구진은 프레임워크의 일반화 능력을 입증하고자 했습니다. 이를 위해 더 비싸고 강력한 Chinchilla 3 Opus 모델과 더 저렴한 Llama 38B 모델 간 라우팅에 대한 MT-Bench 벤치마크 결과를 제시했습니다.

중요한 점은 연구진이 재학습 없이 동일한 라우터를 사용했다는 것입니다. 이는 RouteLLM 프레임워크가 새로운 모델 조합에 일반화될 수 있는 능력을 보여줍니다. 결과는 이 새로운 모델 쌍에 적용해도 RouteLLM 접근법이 여전히 상당한 비용 절감을 제공하면서도 높은 성능을 유지할 수 있음을 보여줍니다.

이러한 일반화 능력은 RouteLLM 프레임워크의 핵심 강점입니다. 이를 통해 시스템을 다양한 대규모 언어 모델 구성에 배포할 수 있으며, 광범위한 재학습이나 모델 특화 조정이 필요하지 않습니다. 다양한 모델 쌍에서 RouteLLM의 효과를 입증함으로써 연구진은 비용 효율적인 LLM 배포를 위한 접근법의 광범위한 적용 가능성과 강건성을 강조했습니다.

RouteLLM에 대해 몇 가지 주요 이유로 기대가 큽니다:

1. 비용 절감: 대규모 언어 모델(LLM) 사용 비용을 줄일 수 있다면 광범위한 혜택이 있을 것입니다. 더 많은 사람과 애플리케이션이 AI를 활용할 수 있게 되고, 에너지 사용도 줄일 수 있습니다.

2. 알고리즘 잠재력 확대: 전문가 혼합 및 연쇄 사고와 같은 기법은 더 많은 토큰을 사용하므로, 토큰 비용이 저렴해지면 이러한 강력한 알고리즘 기법을 더 자주 활용할 수 있어 결과 품질이 향상될 것입니다.

3. 효율적인 AI 활용: RouteLLM의 접근법은 가장 적합한 모델(지역 또는 클라우드 기반)에 쿼리를 라우팅하여 비용, 효율성, 품질을 최적화합니다. 이를 통해 로컬/엣지 디바이스로 더 많은 컴퓨팅을 이동시켜 비싼 클라우드 모델에 대한 의존도를 줄일 수 있습니다.

4. 오픈 소스 제공: 저자들이 전체 오픈 소스 코드베이스를 공개했다는 점은 항상 기쁜 일입니다. 이를 통해 커뮤니티가 프레임워크를 발전시키고 개선할 수 있습니다.

전반적으로 RouteLLM은 대규모 언어 모델을 더 접근 가능하고, 효율적이며, 비용 효율적으로 만드는 데 큰 진전을 이루었습니다. 이는 로컬 모델, 에이전트 기반 시스템, 최첨단 모델을 결합한 AI 생태계 비전과 일치합니다. 이를 통해 품질, 비용, 프라이버시, 보안의 최적 균형을 달성할 수 있습니다.

LM.org의 Route LLM 도입은 대규모 언어 모델(LLM) 분야에서 매우 흥미로운 발전입니다. Route LLM은 오픈 소스 프레임워크를 제공하여 LLM 운영 비용을 크게 줄이면서도 높은 수준의 성능을 유지할 수 있습니다.

Route LLM의 주요 특징은 다음과 같습니다:

• GPT-4의 95% 성능을 유지하면서도 최대 80%의 LLM 비용 절감 가능.
• 각 쿼리에 가장