RouteLLM - это открытая платформа, разработанная LM.org, которая предлагает экономичное решение для развертывания больших языковых моделей (LLM) без ущерба для производительности. Ключевая инновация RouteLLM - это его способность маршрутизировать запросы к наиболее подходящей LLM, балансируя стоимость и качество.

Платформа решает дилемму, с которой сталкиваются при развертывании LLM, когда использование самой большой и мощной модели приводит к наивысшему качеству ответов, но может быть непомерно дорогим. RouteLLM решает эту проблему, сначала обрабатывая каждый запрос через систему маршрутизации, которая решает, какую LLM использовать. Запросы, которые могут быть обработаны более слабыми и дешевыми моделями, маршрутизируются к этим моделям, в то время как более сложные запросы маршрутизируются к более сильным моделям, минимизируя общие затраты при сохранении качества ответов.

Исследователи, стоящие за RouteLLM, продемонстрировали значительное снижение затрат без ущерба для производительности. Их эксперименты показывают экономию затрат более чем на 85% на бенчмарке MT, 45% на MLU и 35% на GSMA-K по сравнению с использованием только самой мощной модели (GPT-4), при этом достигая 95% ее производительности.

RouteLLM достигает этих впечатляющих результатов, используя данные предпочтений, что позволяет системе маршрутизации узнавать о сильных и слабых сторонах различных моделей и о том, как они связаны с конкретными запросами. Исследователи изучали различные методы маршрутизации, включая ранжирование с учетом сходства, факторизацию матриц и классификаторы на основе языковых моделей, все из которых показали значительные улучшения по сравнению со случайной маршрутизацией в качестве базовой линии при дополнении судьей на основе LLM.

Кроме того, платформа RouteLLM продемонстрировала универсальность, поскольку исследователи смогли использовать те же маршрутизаторы без повторной тренировки для маршрутизации между различными парами моделей, такими как CLA-3 Opus и Llama 38B, с аналогичными преимуществами в экономии затрат и производительности.

В целом, RouteLLM представляет собой захватывающее развитие в области развертывания больших языковых моделей, предлагая экономичное и высокопроизводительное решение, которое может открыть новые возможности для приложений AI и расширить границы того, что достижимо с помощью LLM.

В статье представлен новый подход к обучению маршрутизаторов для маршрутизации больших языковых моделей (LLM), который использует данные предпочтений. Каждая точка данных в данных предпочтений состоит из запроса и сравнения качества ответа двух моделей на этот запрос. Это может быть победа для первой модели, победа для второй модели или ничья.

Использование данных предпочтений позволяет исследователям узнавать о сильных и слабых сторонах различных моделей и о том, как они связаны с запросами, что эффективно для обучения маршрутизаторов. Они обучили четыре разных маршрутизатора, используя смесь данных ChatGPT Arena и аугментацию данных:

1. Маршрутизатор на основе ранжирования с учетом сходства: Этот маршрутизатор использует подход ранжирования с учетом сходства для определения, какую модель направить запрос.
2. Модель факторизации матриц: Этот маршрутизатор использует модель факторизации матриц для изучения предпочтений между моделями и запросами.
3. Классификатор BERT: Этот маршрутизатор использует классификатор на основе BERT для прогнозирования, какая модель будет лучше справляться с данным запросом.
4. Классификатор на основе причинной LLM: Этот маршрутизатор использует классификатор на основе причинной языковой модели для прогнозирования, какая модель будет лучше справляться с данным запросом.

Исследователи оценили производительность этих маршрутизаторов на бенчмарках MT, MLU и GSM8K и обнаружили, что они могут значительно снизить затраты (более 85% на бенчмарке MT, 45% на MLU и 35% на GSM8K) без ущерба для качества, достигая 95% производительности самой сильной модели (GPT-4).

Важно, что исследователи также продемонстрировали универсальность своей платформы, используя те же маршрутизаторы (без повторной тренировки) для маршрутизации между другой парой моделей (CLA 3 Opus и Llama 38B) и достигая аналогичных улучшений в эффективности затрат.

Исследователи оценивали RouteLLM, используя общедоступные данные из ChatAO, и продемонстрировали значительное снижение затрат без ущерба для качества:

• На бенчмарке MT они достигли снижения затрат более чем на 85% по сравнению с использованием только GPT-4, при этом достигая 95% его производительности.
• На бенчмарке MLU они достигли снижения затрат на 45%.
• На бенчмарке GSM8K они достигли снижения затрат на 35%.

Оценка была сосредоточена на случае, когда есть две модели - более сильная и дорогая модель (GPT-4) и более слабая и дешевая модель (Megatron-LM 8x7B). Исследователи использовали случайный маршрутизатор в качестве базовой линии и изучали различные методы маршрутизации, включая дополнение тренировочных данных судьей на основе LLM.

Результаты показывают, что дополненные методы маршрутизации значительно превзошли случайный маршрутизатор. Исследователи также продемонстрировали универсальность своей платформы, используя те же маршрутизаторы для маршрутизации между другой парой моделей (CLA-3 Opus и LLaMA 38B) без какой-либо повторной тренировки, и достигли аналогичных улучшений в экономии затрат.

Ключом к успеху RouteLLM является его способность изучать сильные и слабые стороны различных моделей и соответствующим образом маршрутизировать запросы, минимизируя использование более дорогой модели при сохранении высокого качества ответов. Этот подход соответствует видению исследователей о гибридном стеке LLM, который сочетает локальные, открытые модели с передовыми моделями, такими как GPT-4, оптимизированными по стоимости, эффективности, конфиденциальности и безопасности.

Хотя первоначальные оценки RouteLLM проводились с использованием пары моделей GPT-4 и Megatron-LM 8x7B, исследователи также хотели продемонстрировать универсальность своей платформы. Для этого они представили результаты для бенчмарка MT-Bench при маршрутизации между другой парой моделей: более дорогой и мощной моделью Chinchilla 3 Opus и менее дорогой моделью Llama 38B.

Важно отметить, что исследователи использовали те же маршрутизаторы без какой-либо повторной тренировки, демонстрируя способность RouteLLM обобщаться на новые комбинации моделей. Результаты показали, что подход RouteLLM продолжал обеспечивать значительную экономию затрат при сохранении высокой производительности, даже когда он применялся к этой новой паре моделей.

Эта способность к обобщению является ключевой силой платформы RouteLLM, поскольку она позволяет системе развертываться в различных конфигурациях больших языковых моделей без необходимости в обширной повторной тренировке или настройке, специфичной для модели. Демонстрируя эффективность RouteLLM в различных парах моделей, исследователи подчеркнули широкую применимость и надежность своего подхода к экономичному развертыванию LLM.

Я взволнован RouteLLM по нескольким ключевым причинам:

1. Снижение затрат: Если мы можем снизить стоимость использования больших языковых моделей (LLM), это принесет широкие выгоды. Это позволит большему количеству людей и приложений использовать AI, при этом затрачивая меньше энергии.

2. Алгоритмические прорывы: Техники, такие как Mixture of Experts и Chain of Thought, используют больше токенов, поэтому наличие более дешевых токенов позволяет нам чаще использовать эти мощные алгоритмические прорывы, что приводит к более высокому качеству результатов.

3. Эффективное использование AI: Подход RouteLLM к маршрутизации запросов к наиболее подходящей модели, будь то локальная или облачная, оптимизирует стоимость, эффективность и качество. Это перемещает больше вычислений на локальные/краевые устройства, снижая зависимость от дорогих облачных моделей.

4. Доступность открытого исходного кода: Авторы выпустили полный открытый исходный код, что всегда радует видеть. Это позволяет сообществу развивать и улучшать платформу.

В целом, RouteLLM представляет собой значительный шаг к тому, чтобы сделать большие языковые модели более доступными, эффективными и экономичными. Это соответствует более широкому видению экосистемы AI, которая использует сочетание локальных моделей, агентных систем и передовых моделей, скоординированных для обеспечения наилучшего баланса качества, стоимости, конфиденциальности и безопасности.

Введение RouteLLM организацией LM.org является захватывающим событием в области больших языковых моделей (LLM). Предоставляя открытую платформу для экономичной маршрутизации LLM, RouteLLM обещает значительно снизить стоимость работы с LLM, сохраняя при этом высокий уровень производительности.

Основные особенности RouteLLM включают:

• Возможность снизить затраты на LLM до 80%, сохраняя 95% производительности GPT-4.
• Использование системы маршрутизации, которая решает, какую LLM использовать для каждого запроса, направляя запросы, которые могут быть обработаны более слабыми моделями, к этим моделям, чтобы минимизировать затраты.
• Исследование различных методов маршрутизации, включая ранжирование с учетом сходства, факторизацию матриц и классификаторы на основе трансформеров, для улучшения производительности маршрутизаторов.
• Демонстрация универсальности платформы, путем тестирования ее с различными парами моделей, такими как CLA-3 Opus и Llama 38B.

Потенциальное влияние RouteLLM значительно, поскольку он может способствовать более широкому внедрению LLM, снижая финансовый барьер для входа. Кроме того, возможность использовать более дешевые модели и такие алгоритмические техники, как смесь экспертов и цепочка рассуждений, может привести к еще более высокому качеству результатов.

В целом, выпуск RouteLLM организацией LM.org является значительным шагом вперед в направлении сделать LLM более доступными и экономичными, открывая путь для дальнейших достижений в области искусственного интеллекта.