Mistal AI vừa mới phát hành một mô hình mở rộng cân nặng lớn, Mistal 8x22B MoE, với 176 tỷ tham số ấn tượng. Đây là một mô hình kết hợp của tám mô hình chuyên gia, mỗi mô hình có 22 tỷ tham số, tạo thành một mô hình ngôn ngữ rất mạnh mẽ và đa năng.

Mistal 8x22B MoE có một số đặc điểm đáng chú ý:

• Độ dài ngữ cảnh lớn: Mô hình có thể hỗ trợ tối đa 655.000 token, lớn hơn nhiều so với các thế hệ trước.
• Hiệu suất ấn tượng: Ngay cả ở dạng cơ bản, mô hình vẫn vượt qua mô hình mở rộng cân nặng tốt nhất trước đây, Cair R+, trên nhiều bộ đánh giá.
• Khả năng sử dụng thương mại: Mô hình được phát hành theo giấy phép Apache 2.0, cho phép sử dụng thương mại.
• Tích hợp Hugging Face: Mô hình và bộ mã hóa của nó đã có sẵn trên nền tảng Hugging Face, giúp dễ dàng tiếp cận với cộng đồng AI rộng lớn.

Mặc dù dữ liệu tiền huấn luyện và khả năng đa ngôn ngữ của mô hình vẫn chưa được biết, các đánh giá ban đầu cho thấy Mistal 8x22B MoE là một mô hình ngôn ngữ rất mạnh mẽ. Hiệu suất của nó được ước tính nằm giữa khả năng của Chinchilla và GPT-4, mặc dù người dùng được khuyến khích thử nghiệm mô hình trên các ứng dụng của riêng họ để đánh giá chính xác hơn.

Một khía cạnh đáng chú ý của mô hình là khả năng tuân theo hướng dẫn và cung cấp phản hồi liên quan, ngay cả ở dạng cơ bản. Điều này gợi ý rằng mô hình đã được huấn luyện trên một lượng lớn dữ liệu hướng dẫn, có thể dẫn đến kết quả ấn tượng hơn khi các phiên bản tinh chỉnh trở nên sẵn có.

Tuy nhiên, cần lưu ý rằng kích thước lớn và yêu cầu tài nguyên cao của mô hình có thể hạn chế khả năng tiếp cận của nó. Chạy mô hình này yêu cầu một lượng bộ nhớ GPU đáng kể, với 260 GB VRAM cần thiết cho độ chính xác 16-bit và 73 GB cho độ chính xác 4-bit. Điều này có thể gây thách thức cho nhiều người dùng, nhưng những lợi ích tiềm năng của khả năng mô hình có thể khiến nó đáng đầu tư cho những người có nguồn lực phần cứng cần thiết.

Phiên bản cơ bản của mô hình Mistal AI 822B đã thể hiện hiệu suất ấn tượng, thậm chí vượt qua mô hình mở rộng cân nặng tốt nhất trước đây, Cair R+, trên nhiều đánh giá. Mặc dù các số liệu hiệu suất chính thức vẫn chưa được công bố, cộng đồng đã có thể thu thập một số thông tin.

Hiệu suất của mô hình dường như nằm giữa Chinchilla và GPT-4, với lưu ý rằng các đánh giá có thể không phản ánh đầy đủ khả năng thực tế của mô hình. Bộ đánh giá LMS Chat Arena được coi là một đại diện tốt cho hiệu suất của mô hình trong các ứng dụng thực tế.

Một khía cạnh đáng chú ý của mô hình cơ bản là khả năng tuân theo hướng dẫn và cung cấp phản hồi liên quan, điều này thường không được mong đợi ở một mô hình cơ bản. Điều này gợi ý rằng mô hình có thể đã được huấn luyện trên một lượng lớn dữ liệu hướng dẫn, có thể gợi ý về khả năng của các phiên bản tinh chỉnh theo hướng dẫn sắp tới.

Mô hình cũng thể hiện một mức độ hành vi không bị kiểm duyệt, như được chứng minh bằng phản hồi của nó về lời nhắc về việc phá vỡ một chiếc xe. Đây là một đặc điểm của các mô hình không bị ràng buộc, và các phiên bản tinh chỉnh theo hướng dẫn có khả năng sẽ được căn chỉnh tốt hơn và ít sẵn sàng tham gia vào các hoạt động phi đạo đức hoặc bất hợp pháp.

Khả năng viết sáng tạo của mô hình cũng ấn tượng, như được thể hiện trong phản hồi của nó về lời nhắc về quan điểm của Jon Snow về iPhone 14. Mặc dù hiệu suất của mô hình cơ bản đáng chú ý, cộng đồng đang mong đợi sự ra mắt của các phiên bản tinh chỉnh theo hướng dẫn, được kỳ vọng sẽ thể hiện những khả năng nâng cao hơn nữa.

Mô hình thể hiện khả năng ấn tượng, ngay cả ở phiên bản cơ bản. Khi được nhắc trả lời về số lượng trực thăng một người có thể ăn trong một lần, mô hình đưa ra một phản hồi chu đáo, giải thích rằng nó không có khả năng tiêu thụ các vật thể vật lý, nhưng cung cấp thông tin về những nguy hiểm của việc ăn các vật không phải thực phẩm.

Mô hình cũng thể hiện khả năng tuân theo hướng dẫn, như được chứng minh bằng phản hồi của nó về lời nhắc về việc phá vỡ một chiếc xe. Mặc dù nó công nhận rằng hành động như vậy là bất hợp pháp, nhưng nó vẫn cung cấp một số tùy chọn tiềm năng, thể hiện bản chất không bị kiểm duyệt của nó.

Để kiểm tra kỹ năng viết sáng tạo của mô hình, một lời nhắc về quan điểm của Jon Snow về iPhone 14 đã được đưa ra. Mô hình đã tạo ra một câu chuyện liền mạch, tuân thủ theo hướng dẫn được cung cấp.

Khi được hỏi về tính đạo đức của việc giết muỗi, mô hình đã bày tỏ một quan điểm rõ ràng, giải thích tầm quan trọng của muỗi trong hệ sinh thái và những tổn hại tiềm ẩn khi giết chúng.

Đề xuất đầu tư của mô hình, mặc dù không hoàn toàn bất ngờ, cũng thể hiện sự hiểu biết của nó về ngành công nghiệp AI và khả năng cung cấp các khuyến nghị liên quan.

Tuy nhiên, mô hình gặp khó khăn với một số câu hỏi dựa trên logic, như câu hỏi về các anh chị em của Sally. Nó không thể cung cấp câu trả lời chính xác, cho thấy cần có sự tinh chỉnh và huấn luyện thêm.

Nói chung, các phản hồi của mô hình thể hiện khả năng ấn tượng của nó, đặc biệt là trong các lĩnh vực như tuân theo hướng dẫn, viết sáng tạo và bày tỏ quan điểm về các chủ đề phức tạp. Khi mô hình được tinh chỉnh thêm, hiệu suất của nó được kỳ vọng sẽ cải thiện, trở thành một bước phát triển đáng chú ý trong lĩnh vực mô hình ngôn ngữ lớn.

Bản ghi chép cho thấy mô hình thể hiện một mức độ lập luận đạo đức khi được hỏi về đạo đức của việc giết muỗi. Mô hình nêu rằng "không phải là đúng đạo đức để giết muỗi" vì chúng là một phần của hệ sinh thái tự nhiên và cung cấp nguồn thức ăn cho các loài động vật khác. Nó giải thích rằng làm gián đoạn hệ sinh thái có thể gây tổn hại cho các loài khác. Điều này gợi ý rằng mô hình đã được huấn luyện để xem xét các hệ quả môi trường và sinh thái rộng hơn của các hành động, thay vì chỉ có một quan điểm đơn giản về đúng và sai.

Tuy nhiên, phản hồi của mô hình cũng nêu bật những hạn chế của khả năng lập luận đạo đức của nó. Khi được hỏi về việc phá vỡ một chiếc xe, mô hình công nhận rằng đó là hành vi bất hợp pháp nhưng sau đó lại cung cấp hướng dẫn từng bước, cho thấy thiếu sự căn chỉnh mạnh mẽ về mặt đạo đức đối với các hành động phi đạo đức. Ngoài ra, mô hình không thể giải quyết đúng một vấn đề logic đơn giản về các mối quan hệ gia đình, cho thấy khả năng lập luận của nó vẫn cần được cải thiện.

Nói chung, bản ghi chép cho thấy mô hình có một số khả năng lập luận đạo đức cơ bản, nhưng cũng nêu bật nhu cầu tinh chỉnh và căn chỉnh thêm để đảm bảo mô hình đưa ra các quyết định đạo đức nhất quán, thay vì chỉ cung cấp thông tin mà không có nền tảng đạo đức vững chắc.

Mô hình đã cung cấp một danh sách các công ty liên quan đến AI mà nó sẽ khuyến nghị đầu tư, bao gồm Nvidia, Google, Microsoft, Amazon và IBM. Đây là một lựa chọn hợp lý, vì đây đều là những nhân tố chính trong ngành công nghiệp AI và công nghệ.

Nvidia là nhà sản xuất hàng đầu về GPU và các phần cứng khác thiết yếu cho các ứng dụng AI và học máy. Google, Microsoft và Amazon là những tập đoàn công nghệ lớn với các khoản đầu tư và khả năng đáng kể trong nghiên cứu và phát triển AI. IBM cũng có một sự hiện diện mạnh mẽ trong lĩnh vực AI, mặc dù có thể không thống trị như một số công ty khác được đề cập.

Nói chung, các đề xuất đầu tư của mô hình dường như dựa trên sự hiểu biết vững chắc về ngành công nghiệp AI và các nhân tố chính trong đó. Mặc dù các khuyến nghị có thể không đầy đủ, nhưng chúng cung cấp một điểm khởi đầu tốt cho những người muốn đầu tư vào các công ty liên quan đến AI. Tuy nhiên, cần lưu ý rằng các quyết định đầu tư nên dựa trên nghiên cứu và phân tích kỹ lưỡng, chứ không chỉ dựa trên các khuyến nghị của một mô hình AI.

Hiệu suất của mô hình trong các thách thức toán học và lập trình là hỗn hợp. Mặc dù nó có thể cung cấp một chương trình Python chính xác để ghi file vào một S3 bucket, nó gặp khó khăn với một số vấn đề toán học cơ bản.

Đối với câu hỏi về số chị em gái của Sally, mô hình không thể cung cấp câu trả lời chính xác, ngay cả sau nhiều lần thử. Nó hoặc nói rằng không thể trả lời câu hỏi hoặc đưa ra phản hồi không chính xác.

Tương tự, đối với "Vấn đề Kẻ Giết Người", phản hồi của mô hình là không chính xác, nói rằng nếu ban đầu có 99