Wizard LM-2 là một cột mốc đáng kể trong thế giới các mô hình ngôn ngữ lớn (LLM). Mô hình nguồn mở này đã chứng minh được hiệu suất cạnh tranh rất cao so với các tác phẩm chuyên quyền tiên tiến như GPT-4 và Claude trên Bộ Tiêu chuẩn MT, đo lường khả năng của LLM tham gia vào các cuộc trò chuyện có tính liên kết, thông tin và hấp dẫn.

Mô hình Wizard LM-2 là phiên bản được tinh chỉnh và huấn luyện theo sở thích của mô hình Megatron-Turing NLG 22B. Nó đã được cải thiện về mặt hiệu suất trong các nhiệm vụ phức tạp, bao gồm trò chuyện, lập trình, lý luận đa ngôn ngữ và các ứng dụng dựa trên đại lý.

Gia đình Wizard LM hiện bao gồm ba mô hình mới: Wizard LM-2 22B, mô hình 70B tham số và mô hình 7B tham số. Mô hình Wizard LM-2 22B đã trở thành mô hình tiên tiến nhất, vượt trội trong hiệu suất thực hiện nhiệm vụ phức tạp, trong khi mô hình 70B thể hiện khả năng lý luận hàng đầu, và mô hình 7B nổi bật về tốc độ và hiệu suất cạnh tranh.

Sự phát triển của Wizard LM-2 đã bao gồm nhiều kỹ thuật sáng tạo, bao gồm lấy mẫu có trọng số, học tiến bộ, phương pháp Evol-Instruct để tạo ra các hướng dẫn chất lượng cao và khung AI-Align-AI để cải thiện mô hình hợp tác. Các phương pháp này đã góp phần vào hiệu suất ấn tượng của mô hình trên Bộ Tiêu chuẩn MT và các đánh giá khác.

Để bắt đầu với Wizard LM-2, người dùng có thể sử dụng nền tảng LM Studio. Mô hình có thể được cài đặt dễ dàng bằng cách sao chép thẻ mô hình và dán vào ô tìm kiếm. Điều này cho phép người dùng bắt đầu trò chuyện với mô hình và khám phá khả năng của nó.

Đội ngũ đứng sau Wizard LM đã sử dụng một số phương pháp tiên tiến để phát triển mô hình Wizard LM-2:

1. Tiền xử lý dữ liệu: Họ đã phân tích và phân phối các thuộc tính khác nhau trong các nguồn dữ liệu mới để có được sự hiểu biết ban đầu về dữ liệu. Họ đã sử dụng lấy mẫu có trọng số để điều chỉnh tầm quan trọng của các thuộc tính khác nhau trong dữ liệu huấn luyện dựa trên kinh nghiệm thực nghiệm.

2. Học tiến bộ: Quá trình huấn luyện đã được chia thành các giai đoạn khác nhau, với nhiều lát cắt dữ liệu hơn được cung cấp ở mỗi giai đoạn. Điều này cho phép sự tiến hóa của các cặp hướng dẫn-phản hồi đa dạng.

3. Khung AI-Aligned AI (AAA): Nhiều LLM được nhóm lại với nhau để dạy và cải thiện lẫn nhau theo cách tối ưu thông qua học có giám sát và học củng cố.

4. Evol-Instruct: Thành phần này tự động tạo ra các hướng dẫn chất lượng cao và định dạng chúng thông qua nhiều lần lặp lại, cải thiện logic, tính chính xác và tính liên kết chung của các phản hồi của mô hình.

5. Phương pháp tự học: Khung AAA cho phép mô hình Wizard LM-2 tạo ra dữ liệu huấn luyện mới, sau đó được sử dụng để học củng cố.

6. Học có giám sát: Mô hình được huấn luyện bằng cách sử dụng dữ liệu có nhãn, xử lý dữ liệu theo từng giai đoạn và dữ liệu sở thích được chia để phù hợp với các lát cắt khác nhau để học củng cố ngoại tuyến hiệu quả hơn.

Các phương pháp tiên tiến này, kết hợp với việc mở rộng quy mô của mô hình ngôn ngữ lớn, đã dẫn đến việc mô hình Wizard LM-2 thể hiện hiệu suất cạnh tranh rất cao so với các tác phẩm chuyên quyền hàng đầu trên Bộ Tiêu chuẩn MT.

Mô hình Wizard LM-2 đã thể hiện hiệu suất cạnh tranh rất cao so với các mô hình ngôn ngữ chuyên quyền tiên tiến như GPT-4 Turbo và CLA-3 trên Bộ Tiêu chuẩn MT, đo lường khả năng tham gia vào các cuộc trò chuyện có tính liên kết, thông tin và hấp dẫn.

Đội ngũ đứng sau Wizard LM đã tiến hành đánh giá cả bằng con người và tự động để đánh giá khả năng của mô hình. Trong đánh giá sở thích của con người, họ đã thu thập một tập hợp đa dạng các hướng dẫn thực tế bao gồm viết, lập trình, toán học, lý luận, nhiệm vụ đại lý và hiểu biết đa ngôn ngữ. Các người đánh giá đã thực hiện so sánh song song mù giữa Wizard LM-2 và các mô hình cơ sở, với nguồn của các phản hồi được che giấu.

Kết quả cho thấy Wizard LM-2 luôn vượt trội so với các mô hình tiên tiến hiện có, bao gồm cả các mô hình nguồn mở khác. Trên Bộ Tiêu chuẩn MT, mô hình đã thể hiện hiệu suất cạnh tranh rất cao, thậm chí so với các tác phẩm chuyên quyền hàng đầu.

Ngoài ra, đội ngũ đã cung cấp dữ liệu hiệu suất chi tiết của Bộ Tiêu chuẩn MT, trình bày điểm số của Wizard LM-2 so với các mô hình khác. Điều này cho phép người dùng đánh giá điểm mạnh và điểm yếu của mô hình trên các tiêu chí đánh giá khác nhau.

Để bắt đầu với Wizard LM-2, người dùng có thể sử dụng nền tảng LM Studio. Mô hình có sẵn trong ba phiên bản: Wizard LM-2 AX 22B, Wizard LM 70B và Wizard LM 7B. Người dùng chỉ cần sao chép thẻ mô hình, tìm kiếm mô hình mong muốn trong LM Studio và tiến hành tải xuống và sử dụng nó trong giao diện trò chuyện của nền tảng.

Để bắt đầu với mô hình Wizard LM-2, bạn sẽ cần sử dụng LM Studio. Đầu tiên, hãy đến thẻ mô hình và sao chép thông tin cho một trong ba mô hình có sẵn: Wizard LM-2 AX 22B, Wizard LM 70B hoặc Wizard LM 7B.

Tiếp theo, hãy mở LM Studio và đến tab tìm kiếm. Dán thông tin thẻ mô hình và nhấn enter. Bạn sẽ thấy các phiên bản khác nhau của mô hình Wizard LM-2 có sẵn.

Để cài đặt mô hình, chỉ cần tải xuống phiên bản bạn muốn sử dụng. Sau khi tải xuống, bạn có thể chuyển đến tab trò chuyện trong LM Studio và chọn mô hình Wizard LM-2 để bắt đầu trò chuyện với nó.

Mô hình Wizard LM-2 đã thể hiện hiệu suất cạnh tranh rất cao trên bộ tiêu chuẩn MT, vượt trội so với nhiều mô hình chuyên quyền hàng đầu. Nó vượt trội trong hiệu suất thực hiện nhiệm vụ phức tạp, khả năng lý luận hàng đầu và tốc độ, tùy thuộc vào kích thước mô hình cụ thể.

Để tìm hiểu thêm về các tiến bộ và phương pháp huấn luyện được sử dụng để phát triển Wizard LM-2, hãy chắc chắn kiểm tra bài đăng trên blog và tài liệu lưu trữ khi chúng trở nên có sẵn.

Sự ra mắt của Wizard LM2 đại diện cho một cột mốc đáng kể trong việc phát triển các mô hình ngôn ngữ lớn. Mô hình tiên tiến này đã thể hiện hiệu suất cạnh tranh rất cao so với các tác phẩm chuyên quyền hàng đầu, vượt trội trong hiệu suất thực hiện nhiệm vụ phức tạp, khả năng lý luận hàng đầu và tốc độ cạnh tranh.

Đội ngũ đứng sau Wizard LM đã sử dụng các kỹ thuật sáng tạo, như lấy mẫu có trọng số, học tiến bộ và các khung AI-aligned, để nâng cao khả năng của mô hình. Việc kết hợp Evol-instruct, tự động tạo và phân phối các hướng dẫn chất lượng cao, đã cải thiện thêm logic, tính chính xác và tính liên kết của mô hình.

Cả đánh giá bằng con người và tự động đều cho thấy Wizard LM2 luôn vượt trội so với các mô hình tiên tiến hiện có, khiến nó trở thành một ứng cử viên đầy hứa hẹn trong lĩnh vực các mô hình ngôn ngữ lớn. Với sự có sẵn của các mô hình Wizard LM khác nhau, người dùng có thể chọn mô hình phù hợp nhất với nhu cầu cụ thể của mình, cho dù đó là Wizard LM2 AX 22B hiệu suất cao, Wizard LM 70B mạnh mẽ hay Wizard LM 7B tập trung vào tốc độ.

Đối với những người quan tâm đến việc khám phá Wizard LM2, quá trình cài đặt và sử dụng mô hình cục bộ là đơn giản, nhờ vào nền tảng LM Studio. Bằng cách làm theo hướng dẫn được cung cấp, người dùng có thể dễ dàng truy cập và tương tác với mô hình ngôn ngữ tiên tiến này.

Khi cảnh quan AI tiếp tục phát triển, cam kết đổi mới và nỗ lực huấn luyện lặp đi lặp lại của nhóm Wizard LM có thể sẽ mang lại thêm nhiều tiến bộ trong tương lai gần. Các nhà nghiên cứu và nhà phát triển nên theo dõi sát sao gia đình Wizard LM khi nó tiếp tục mở rộng giới hạn của khả năng mô hình ngôn ngữ lớn.