O RouteLLM é uma estrutura de código aberto desenvolvida pela LM.org que oferece uma solução de custo-benefício para implantar modelos de linguagem de grande porte (LLMs) sem comprometer o desempenho. A principal inovação do RouteLLM é sua capacidade de rotear consultas para o LLM mais apropriado, equilibrando custo e qualidade.

A estrutura aborda o dilema enfrentado ao implantar LLMs, em que o uso do modelo mais amplo e capaz leva às respostas de maior qualidade, mas pode ser proibitivamente caro. O RouteLLM resolve isso processando primeiro cada consulta por meio de um sistema de roteamento que decide qual LLM usar. As consultas que podem ser tratadas por modelos mais fracos e mais baratos são roteadas para esses modelos, enquanto as consultas mais complexas são roteadas para modelos mais fortes, minimizando os custos gerais, mantendo a qualidade da resposta.

Os pesquisadores por trás do RouteLLM demonstraram reduções significativas de custos sem comprometer o desempenho. Seus experimentos mostram economias de custos de mais de 85% no benchmark MT, 45% no MLU e 35% no GSMA-K, em comparação com o uso apenas do modelo mais capaz (GPT-4), ainda atingindo 95% de seu desempenho.

O RouteLLM alcança esses resultados impressionantes aproveitando os dados de preferência, o que permite que o sistema de roteamento aprenda sobre os pontos fortes e fracos de diferentes modelos e como eles se relacionam com consultas específicas. Os pesquisadores exploraram várias técnicas de roteamento, incluindo classificação ponderada por similaridade, fatoração de matriz e classificadores baseados em modelos de linguagem, todos os quais mostraram melhorias significativas em relação a uma linha de base de roteamento aleatório quando aumentados com um juiz baseado em LLM.

Além disso, a estrutura do RouteLLM demonstrou generalizabilidade, pois os pesquisadores conseguiram usar os mesmos roteadores sem retreinamento para rotear entre diferentes pares de modelos, como CLA-3 Opus e Llama 38B, com economias de custo e benefícios de desempenho semelhantes.

O artigo apresenta uma abordagem inovadora para o treinamento de roteadores para roteamento de modelos de linguagem de grande porte (LLM), que aproveita os dados de preferência. Cada ponto de dados nos dados de preferência consiste em um prompt e uma comparação entre a qualidade da resposta de dois modelos nesse prompt. Isso pode ser uma vitória para o primeiro modelo, uma vitória para o segundo modelo ou um empate.

O uso de dados de preferência permite que os pesquisadores aprendam sobre os pontos fortes e fracos de diferentes modelos e como eles se relacionam com as consultas, o que é eficaz para o treinamento de roteadores. Eles treinaram quatro roteadores diferentes usando uma mistura de dados do ChatGPT Arena e aumento de dados:

1. Roteador de Classificação Ponderada por Similaridade: Este roteador usa uma abordagem de classificação ponderada por similaridade para determinar qual modelo rotear a consulta.
2. Modelo de Fatoração de Matriz: Este roteador usa um modelo de fatoração de matriz para aprender as preferências entre modelos e consultas.
3. Classificador BERT: Este roteador usa um classificador baseado em BERT para prever qual modelo terá melhor desempenho em uma determinada consulta.
4. Classificador de LLM Causal: Este roteador usa um classificador baseado em um modelo de linguagem causal para prever qual modelo terá melhor desempenho em uma determinada consulta.

Os pesquisadores avaliaram o desempenho desses roteadores nos benchmarks MT, MLU e GSM8K e constataram que eles poderiam reduzir significativamente os custos (mais de 85% no benchmark MT, 45% no MLU e 35% no GSM8K) sem comprometer a qualidade, atingindo 95% do desempenho do modelo mais forte (GPT-4).

Importantemente, os pesquisadores também demonstraram a generalizabilidade de sua estrutura, usando os mesmos roteadores (sem retreinamento) para rotear entre um par de modelos diferente (CLA 3 Opus e Llama 38B) e alcançando melhorias semelhantes na relação custo-efetividade.

Os pesquisadores avaliaram o RouteLLM usando dados públicos do ChatAO e demonstraram reduções significativas de custos sem comprometer a qualidade:

• No benchmark MT, eles alcançaram uma redução de custo de mais de 85% em comparação com o uso apenas do GPT-4, ainda atingindo 95% de seu desempenho.
• No benchmark MLU, eles alcançaram uma redução de custo de 45%.
• No benchmark GSM8K, eles alcançaram uma redução de custo de 35%.

A avaliação se concentrou no caso em que há dois modelos - um modelo mais forte e mais caro (GPT-4) e um modelo mais fraco e mais barato (Megatron-LM 8x7B). Os pesquisadores usaram um roteador aleatório como linha de base e exploraram várias técnicas de roteamento, incluindo o aumento dos dados de treinamento com um juiz baseado em LLM.

Os resultados mostram que as técnicas de roteamento aumentadas superaram significativamente o roteador aleatório. Os pesquisadores também demonstraram a generalizabilidade de sua estrutura, usando os mesmos roteadores para rotear entre um par de modelos diferente (CLA-3 Opus e LLaMA 38B) sem nenhum retreinamento, e alcançaram melhorias semelhantes nas economias de custo.

A chave para o sucesso do RouteLLM é sua capacidade de aprender os pontos fortes e fracos de diferentes modelos e rotear as consultas de acordo, minimizando o uso do modelo mais caro, mantendo respostas de alta qualidade. Essa abordagem se alinha com a visão dos pesquisadores de uma pilha híbrida de LLM que combina modelos locais de código aberto com modelos de ponta como o GPT-4, otimizados para custo, eficiência, privacidade e segurança.

Enquanto as avaliações iniciais do RouteLLM foram realizadas usando o par de modelos GPT-4 e Megatron-LM 8x7B, os pesquisadores também queriam demonstrar a generalizabilidade de sua estrutura. Para fazer isso, eles apresentaram resultados para o benchmark MT-Bench ao rotear entre um par de modelos diferente: o modelo Chinchilla 3 Opus, mais caro e capaz, e o modelo Llama 38B, menos caro.

Importantemente, os pesquisadores usaram os mesmos roteadores sem nenhum retreinamento, mostrando a capacidade do RouteLLM de se generalizar para novas combinações de modelos. Os resultados mostraram que a abordagem do RouteLLM continuou a fornecer economias de custo significativas, mantendo um alto desempenho, mesmo quando aplicada a esse novo par de modelos.

Essa capacidade de generalização é um ponto forte da estrutura do RouteLLM, pois permite que o sistema seja implantado em uma variedade de configurações de modelos de linguagem de grande porte sem a necessidade de retreinamento extensivo ou ajuste específico do modelo. Ao demonstrar a eficácia do RouteLLM em diferentes pares de modelos, os pesquisadores destacaram a ampla aplicabilidade e robustez de sua abordagem para a implantação de LLM de forma econômica.

Estou entusiasmado com o RouteLLM por algumas razões-chave:

1. Redução de Custos: Se pudermos reduzir o custo do uso de modelos de linguagem de grande porte (LLMs), isso terá benefícios generalizados. Permitirá que mais pessoas e aplicações aproveitem a IA, usando menos energia no processo.

2. Desbloqueios Algorítmicos: Técnicas como Mixture of Experts e Chain of Thought usam mais tokens, então ter tokens mais baratos nos permite usar esses poderosos desbloqueios algorítmicos com mais frequência, levando a resultados de maior qualidade.

3. Uso Eficiente de IA: A abordagem do RouteLLM de rotear consultas para o modelo mais apropriado, seja local ou baseado em nuvem, otimiza o custo, a eficiência e a qualidade. Isso empurra mais computação para dispositivos locais/de borda, reduzindo a dependência de modelos de nuvem caros.

4. Disponibilidade de Código Aberto: Os autores lançaram a base de código de código aberto completa, o que é sempre emocionante de ver. Isso permite que a comunidade construa e melhore a estrutura.

No geral, o RouteLLM representa um passo significativo no sentido de tornar os modelos de linguagem de grande porte mais acessíveis, eficientes e econômicos. Isso se alinha com a visão mais ampla de um ecossistema de IA que aproveita uma combinação de modelos locais, sistemas baseados em agentes e modelos de ponta, orquestrados para entregar o melhor equilíbrio de qualidade, custo, privacidade e segurança.

A introdução do Route LLM pela LM.org é um desenvolvimento empolgante no campo dos modelos de linguagem de grande porte (LLMs). Ao fornecer uma estrutura de código aberto para roteamento de LLM de custo-benefício, o Route LLM promete reduzir significativamente o custo de executar LLMs, mantendo um alto nível de desempenho.

Os principais destaques do Route LLM incluem:

• Capacidade de reduzir os custos de LLM em até 80%, mantendo 95% do desempenho do GPT-4.
• Utilização de um sistema de roteamento que decide qual LLM usar para cada consulta, roteando consultas que podem ser tratadas por modelos mais fracos para esses modelos, a fim de minimizar os custos.
• Exploração de várias técnicas de roteamento, incluindo classificação ponderada por similaridade, fatoração de matriz e classificadores baseados em Transformer, para melhorar o desempenho do roteador.
• Demonstração da generalizabilidade da estrutura, testando-a com diferentes pares de modelos, como CLA-3 Opus e Llama 38B.

O impacto potencial do Route LLM é significativo, pois poderia permitir uma adoção mais ampla de LLMs, reduzindo a barreira financeira de entrada. Além disso, a capacidade de aproveitar modelos mais baratos e técnicas algorítmicas como mistura de especialistas e cadeia de pensamento poderia levar a resultados ainda de maior qualidade.

No geral, o lançamento do Route LLM pela LM.org é um passo significativo no sentido de tornar os LLMs mais acessíveis e econômicos, abrindo caminho para novos avanços no campo da inteligência artificial.