RouteLLM là một khuôn khổ mã nguồn mở được phát triển bởi LM.org, cung cấp một giải pháp hiệu quả về chi phí để triển khai các mô hình ngôn ngữ lớn (LLM) mà không ảnh hưởng đến hiệu suất. Sự đổi mới chính của RouteLLM là khả năng định tuyến các truy vấn đến mô hình LLM phù hợp nhất, cân bằng giữa chi phí và chất lượng.

Khuôn khổ này giải quyết vấn đề khó khăn khi triển khai LLM, khi sử dụng mô hình lớn nhất và có khả năng nhất dẫn đến phản hồi chất lượng cao nhưng có thể rất tốn kém. RouteLLM giải quyết vấn đề này bằng cách đầu tiên xử lý mỗi truy vấn thông qua một hệ thống định tuyến quyết định sử dụng mô hình LLM nào. Các truy vấn có thể được xử lý bởi các mô hình yếu hơn và rẻ hơn sẽ được định tuyến đến các mô hình này, trong khi các truy vấn phức tạp hơn sẽ được định tuyến đến các mô hình mạnh hơn, giảm thiểu tổng chi phí trong khi vẫn duy trì chất lượng phản hồi.

Các nhà nghiên cứu đằng sau RouteLLM đã chứng minh được sự giảm chi phí đáng kể mà không ảnh hưởng đến hiệu suất. Các thí nghiệm của họ cho thấy tiết kiệm chi phí trên 85% trên bộ kiểm tra MT, 45% trên MLU và 35% trên GSMA-K, so với chỉ sử dụng mô hình mạnh nhất (GPT-4), đồng thời vẫn đạt 95% hiệu suất của nó.

RouteLLM đạt được những kết quả ấn tượng này bằng cách khai thác dữ liệu ưu tiên, cho phép hệ thống định tuyến học về các điểm mạnh và điểm yếu của các mô hình khác nhau và mối quan hệ của chúng với các truy vấn cụ thể. Các nhà nghiên cứu đã khám phá các kỹ thuật định tuyến khác nhau, bao gồm xếp hạng có trọng số tương tự, phân rã ma trận và bộ phân loại dựa trên mô hình ngôn ngữ, tất cả đều cho thấy cải thiện đáng kể so với cơ sở định tuyến ngẫu nhiên khi được tăng cường bằng một bộ phân loại dựa trên LLM.

Hơn nữa, khuôn khổ RouteLLM đã chứng minh được tính khái quát, vì các nhà nghiên cứu đã có thể sử dụng cùng một bộ định tuyến mà không cần đào tạo lại để định tuyến giữa các cặp mô hình khác nhau, chẳng hạn như CLA-3 Opus và Llama 38B, với những lợi ích về tiết kiệm chi phí và hiệu suất tương tự.

Nói chung, RouteLLM đại diện cho một sự phát triển đầy hứa hẹn trong lĩnh vực triển khai mô hình ngôn ngữ lớn, cung cấp một giải pháp hiệu quả về chi phí và hiệu suất cao có thể mở khóa các khả năng mới cho các ứng dụng AI và đẩy ranh giới của những gì có thể đạt được với LLM.

Bài báo trình bày một phương pháp mới để đào tạo bộ định tuyến cho định tuyến mô hình ngôn ngữ lớn (LLM), sử dụng dữ liệu ưu tiên. Mỗi điểm dữ liệu trong dữ liệu ưu tiên bao gồm một lời nhắc và một so sánh giữa chất lượng phản hồi của hai mô hình trên lời nhắc đó. Đây có thể là một chiến thắng cho mô hình thứ nhất, một chiến thắng cho mô hình thứ hai hoặc hòa.

Sử dụng dữ liệu ưu tiên cho phép các nhà nghiên cứu học về các điểm mạnh và điểm yếu của các mô hình khác nhau và mối quan hệ của chúng với các truy vấn, điều này hiệu quả cho việc đào tạo bộ định tuyến. Họ đã đào tạo bốn bộ định tuyến khác nhau bằng cách sử dụng một hỗn hợp dữ liệu ChatGPT Arena và tăng cường dữ liệu:

1. Bộ định tuyến xếp hạng có trọng số tương tự: Bộ định tuyến này sử dụng một phương pháp xếp hạng có trọng số tương tự để xác định mô hình nào sẽ định tuyến truy vấn.
2. Mô hình phân rã ma trận: Bộ định tuyến này sử dụng một mô hình phân rã ma trận để học các ưu tiên giữa các mô hình và truy vấn.
3. Bộ phân loại BERT: Bộ định tuyến này sử dụng một bộ phân loại dựa trên BERT để dự đoán mô hình nào sẽ hoạt động tốt hơn trên một truy vấn cụ thể.
4. Bộ phân loại mô hình ngôn ngữ nhân quả: Bộ định tuyến này sử dụng một bộ phân loại dựa trên mô hình ngôn ngữ nhân quả để dự đoán mô hình nào sẽ hoạt động tốt hơn trên một truy vấn cụ thể.

Các nhà nghiên cứu đã đánh giá hiệu suất của những bộ định tuyến này trên các bộ kiểm tra MT, MLU và GSM8K và phát hiện ra rằng họ có thể giảm đáng kể chi phí (trên 85% trên bộ kiểm tra MT, 45% trên MLU và 35% trên GSM8K) mà không ảnh hưởng đến chất lượng, đạt 95% hiệu suất của mô hình mạnh nhất (GPT-4).

Điều quan trọng là các nhà nghiên cứu cũng đã chứng minh được tính khái quát của khuôn khổ của họ bằng cách sử dụng cùng những bộ định tuyến này (mà không cần đào tạo lại) để định tuyến giữa một cặp mô hình khác (CLA 3 Opus và Llama 38B) và đạt được những cải thiện tương tự về hiệu quả chi phí.

Các nhà nghiên cứu đã đánh giá RouteLLM bằng cách sử dụng dữ liệu công khai từ ChatAO và chứng minh được sự giảm chi phí đáng kể mà không ảnh hưởng đến chất lượng:

• Trên bộ kiểm tra MT, họ đạt được hơn 85% giảm chi phí so với chỉ sử dụng GPT-4, đồng thời vẫn đạt 95% hiệu suất của nó.
• Trên bộ kiểm tra MLU, họ đạt được 45% giảm chi phí.
• Trên bộ kiểm tra GSM8K, họ đạt được 35% giảm chi phí.

Đánh giá tập trung vào trường hợp có hai mô hình - một mô hình mạnh hơn, đắt hơn (GPT-4) và một mô hình yếu hơn, rẻ hơn (Megatron-LM 8x7B). Các nhà nghiên cứu sử dụng một bộ định tuyến ngẫu nhiên làm cơ sở và khám phá các kỹ thuật định tuyến khác nhau, bao gồm cả việc tăng cường dữ liệu đào tạo bằng một bộ phân loại dựa trên LLM.

Kết quả cho thấy các kỹ thuật định tuyến được tăng cường đáng kể vượt trội hơn so với bộ định tuyến ngẫu nhiên. Các nhà nghiên cứu cũng đã chứng minh được tính khái quát của khuôn khổ của họ bằng cách sử dụng cùng những bộ định tuyến này để định tuyến giữa một cặp mô hình khác (CLA-3 Opus và LLaMA 38B) mà không cần đào tạo lại, và đạt được những cải thiện tương tự về tiết kiệm chi phí.

Chìa khóa thành công của RouteLLM là khả năng học về các điểm mạnh và điểm yếu của các mô hình khác nhau và định tuyến các truy vấn tương ứng, giảm thiểu việc sử dụng mô hình đắt hơn trong khi vẫn duy trì phản hồi chất lượng cao. Phương pháp này phù hợp với tầm nhìn của các nhà nghiên cứu về một chồng LLM lai, kết hợp các mô hình cục bộ, nguồn mở với các mô hình tiên phong như GPT-4, được tối ưu hóa về chi phí, hiệu quả, quyền riêng tư và bảo mật.

Mặc dù các đánh giá ban đầu của RouteLLM được thực hiện bằng cách sử dụng cặp mô hình GPT-4 và Megatron-LM 8x7B, các nhà nghiên cứu cũng muốn chứng minh tính khái quát của khuôn khổ của họ. Để làm điều này, họ đã trình bày kết quả cho bộ kiểm tra MT-Bench khi định tuyến giữa một cặp mô hình khác: mô hình Chinchilla 3 Opus đắt hơn và có khả năng hơn và mô hình Llama 38B rẻ hơn.

Điều quan trọng là các nhà nghiên cứu đã sử dụng cùng những bộ định tuyến mà không cần đào tạo lại, thể hiện khả năng của RouteLLM để khái quát hóa cho các kết hợp mô hình mới. Kết quả cho thấy phương pháp RouteLLM tiếp tục mang lại những khoản tiết kiệm chi phí đáng kể trong khi vẫn duy trì hiệu suất cao, ngay cả khi áp dụng cho cặp mô hình mới này.

Khả năng khái quát hóa này là một điểm mạnh chính của khuôn khổ RouteLLM, vì nó cho phép hệ thống được triển khai trên nhiều cấu hình mô hình ngôn ngữ lớn khác nhau mà không cần đào tạo lại hoặc điều chỉnh cụ thể cho từng mô hình. Bằng cách chứng minh hiệu quả của RouteLLM trên các cặp mô hình khác nhau, các nhà nghiên cứu đã nhấn mạnh tính ứng dụng rộng rãi và tính bền vững của phương pháp tiếp cận của họ đối với việc triển khai LLM hiệu quả về chi phí.

Tôi rất phấn khích về RouteLLM vì một số lý do chính:

1. Giảm chi phí: Nếu chúng ta có thể giảm chi phí sử dụng các mô hình ngôn ngữ lớn (LLM), điều này sẽ mang lại lợi ích rộng rãi. Nó sẽ cho phép nhiều người và ứng dụng hơn tận dụng AI, sử dụng ít năng lượng hơn trong quá trình này.

2. Mở khóa thuật toán: Các kỹ thuật như Mixture of Experts và Chain of Thought sử dụng nhiều mã thông báo hơn, vì vậy việc có các mã thông báo rẻ hơn cho phép chúng ta sử dụng những bước đột phá mạnh mẽ này thường xuyên hơn, dẫn đến kết quả chất lượng cao hơn.

3. Sử dụng AI hiệu quả: Phương pháp của RouteLLM định tuyến các truy vấn đến mô hình phù hợp nhất, dù là cục bộ hay dựa trên đám mây, tối ưu hóa về chi phí, hiệu quả và chất lượng. Điều này đẩy nhiều tính toán hơn đến các thiết bị cục bộ/cạnh, giảm sự phụ thuộc vào các mô hình đám mây đắt tiền.

4. **Sẵn có mã nguồn