Phiên bản mới nhất của mô hình Mistral 7B, phiên bản 3, mang lại những thay đổi và cải tiến đáng kể. Khác với các phiên bản trước, mô hình này được phát hành trực tiếp trên Hugging Face, giúp nó trở nên dễ tiếp cận hơn. Mặc dù hiệu suất dự kiến sẽ tương tự như mô hình Mistral 7B, nhưng vẫn có một số cập nhật nổi bật.

Thay đổi đáng chú ý nhất là mô hình này hoàn toàn không bị kiểm duyệt, với từ vựng mở rộng lên vài trăm mã thông báo. Sự mở rộng này liên quan đến khả năng hỗ trợ gọi hàm một cách bản địa, một tính năng mới được giới thiệu trong phiên bản này. Ngoài ra, bộ mã thông báu cũng đã được cập nhật để đáp ứng những thay đổi này.

Mô hình vẫn duy trì cửa sổ ngữ cảnh 32.000 mã thông báo, và gói Mistral Inference Python đã được cập nhật để cho phép suy diễn trơn tru trên mô hình này. Gói này cung cấp một cách đơn giản để cài đặt, tải xuống và chạy mô hình, như được minh họa trong sổ ghi chép Python đính kèm.

Bản chất không bị kiểm duyệt của mô hình cho phép nó tạo ra các phản hồi trên một loạt các chủ đề, bao gồm cả những chủ đề nhạy cảm hoặc gây tranh cãi. Tuy nhiên, nó bao gồm các tuyên bố miễn trừ thích hợp để đảm bảo thông tin không bị lạm dụng cho bất kỳ hoạt động bất hợp pháp nào.

Hiệu suất của mô hình trên các nhiệm vụ khác nhau, như trả lời các câu hỏi dựa trên logic, thể hiện khả năng ấn tượng của nó. Nó cũng thể hiện khả năng lập trình mạnh mẽ, bao gồm cả khả năng tạo mã HTML và tích hợp các công cụ bên ngoài thông qua tính năng gọi hàm.

Nói chung, mô hình Mistral v3 đại diện cho một bước tiến đáng kể, mang lại cho người dùng quyền truy cập vào một mô hình ngôn ngữ mạnh mẽ, không bị kiểm duyệt với chức năng nâng cao. Các ứng dụng tiềm năng của nó bao trùm một loạt các lĩnh vực, và việc khám phá sâu hơn về khả năng của nó được khuyến khích mạnh mẽ.

Để bắt đầu với mô hình Mistral 7B v3 mới nhất, chúng tôi sẽ hướng dẫn quy trình cài đặt và thiết lập từng bước:

1. Cài đặt gói Mistral Inference: Cách khuyến nghị để chạy suy diễn trên mô hình Mistral 7B v3 là sử dụng gói Mistral Inference Python. Bạn có thể cài đặt nó bằng cách sử dụng pip:

   pip install mistral-inference
   

2. Tải xuống mô hình: Chúng tôi sẽ xác định đường dẫn nơi chúng tôi muốn tải xuống mô hình và kiểm tra xem thư mục có tồn tại không. Nếu không, chúng tôi sẽ tạo nó. Sau đó, chúng tôi sẽ sử dụng hàm snapshot_download từ Hugging Face Hub để tải xuống các tệp mô hình:

   model_path = 'path/to/mistral-7b-v3'
   if not os.path.exists(model_path):
       os.makedirs(model_path)
   
   model_repo_id = 'mosaicml/mistral-7b-v3'
   model = snapshot_download(model_repo_id, cache_dir=model_path)
   

   Điều này sẽ tải xuống các tệp mô hình vào thư mục được chỉ định, có thể mất vài phút tùy thuộc vào tốc độ kết nối internet của bạn.

3. Chạy suy diễn trong CLI: Bạn có thể sử dụng lệnh mral chat để chạy mô hình trong giao diện dòng lệnh (CLI). Điều này sẽ cho phép bạn cung cấp một lời nhắc và tạo ra một phản hồi:

   mral chat path/to/mistral-7b-v3 --instruct --max_new_tokens 256
   

   Khi được nhắc, hãy nhập một tin nhắn, và mô hình sẽ tạo ra một phản hồi.

4. Sử dụng mô hình trong Python: Trong mã Python của bạn, bạn có thể sử dụng gói Mistral Inference để tải mô hình và tạo ra các phản hồi theo chương trình:

   from mistral_inference import Transformer, ChatCompletionRequest
   
   model = Transformer.from_pretrained(model_path)
   tokenizer = Transformer.from_pretrained(model_path, subfolder='tokenizer')
   
   def generate_response(model, tokenizer, user_query):
       chat_request = ChatCompletionRequest(user_query)
       output_tokens = model.generate(chat_request.input_ids, max_new_tokens=1024, eos_token_id=tokenizer.eos_token_id)
       output_text = tokenizer.decode(output_tokens[0], skip_special_tokens=True)
       return output_text
   
   user_query = "Hello, how are you?"
   response = generate_response(model, tokenizer, user_query)
   print(response)
   

Điều này bao gồm các bước cơ bản để bắt đầu với mô hình Mistral 7B v3. Bây giờ bạn có thể khám phá khả năng của mô hình, thử nghiệm nó với các lời nhắc khác nhau và thậm chí tinh chỉnh nó trên dữ liệu của riêng bạn trong các bước tiếp theo.

Phiên bản mới nhất của mô hình Mistral 7B, phiên bản 3, mang lại một số thay đổi đáng chú ý. Khác với các phiên bản trước, mô hình này được phát hành trực tiếp trên Hugging Face, thay vì chỉ cung cấp các liên kết magnet. Mặc dù hiệu suất dự kiến sẽ tương tự như mô hình Mistral 7B, vẫn có một số cập nhật nổi bật.

Mô hình hiện hoàn toàn không bị kiểm duyệt, với từ vựng mở rộng thêm vài trăm mã thông báo. Sự mở rộng này liên quan đến khả năng thực hiện gọi hàm được cải thiện, hiện được hỗ trợ một cách bản địa. Bộ mã thông báo cũng đã được cập nhật để đáp ứng những thay đổi này.

Để bắt đầu với mô hình Mistral 7B v3 mới, chúng tôi sẽ hướng dẫn cài đặt gói Mistral Inference Python, tải xuống mô hình và chạy các truy vấn ban đầu. Chúng tôi sẽ khám phá khả năng của mô hình, bao gồm khả năng tạo ra các phản hồi cho các lời nhắc khác nhau, xử lý các chủ đề nhạy cảm và thể hiện kỹ năng lập luận của nó.

Một trong những tính năng ấn tượng nhất của mô hình này là khả năng gọi hàm mới được thêm vào. Chúng tôi sẽ đi sâu vào một ví dụ về cách mô hình có thể sử dụng một công cụ "lấy thời tiết hiện tại" tùy chỉnh để cung cấp thông tin thời tiết cho một vị trí nhất định, thể hiện sự linh hoạt của nó trong việc tích hợp các chức năng bên ngoài.

Nói chung, mô hình Mistral 7B v3 đại diện cho một bước tiến đáng kể trong thế giới các mô hình ngôn ngữ lớn, với các khả năng mở rộng và tiềm năng để tinh chỉnh và tích hợp với các ứng dụng khác nhau.

Phiên bản mới nhất của mô hình Mistral 7B, phiên bản 3, giới thiệu một bước tiến đáng kể - khả năng hỗ trợ gọi hàm một cách bản địa. Tính năng này cho phép mô hình khai thác các công cụ và API bên ngoài để nâng cao khả năng của nó, vượt ra ngoài các ràng buộc truyền thống của mô hình ngôn ngữ.

Một trong những điểm nổi bật chính của Mistral v3 là từ vựng mở rộng, bao gồm thêm vài trăm mã thông báo. Sự mở rộng này liên quan trực tiếp đến chức năng gọi hàm của mô hình, cho phép nó tích hợp và sử dụng các nguồn lực bên ngoài một cách trơn tru.

Để minh họa khả năng này, chúng tôi sẽ đi qua một ví dụ nơi mô hình được yêu cầu lấy thời tiết hiện tại cho một vị trí cụ thể. Mô hình được cung cấp danh sách các công cụ có sẵn, bao gồm một hàm "get_current_weather" nhận vị trí và định dạng nhiệt độ làm tham số đầu vào.

Khi được nhắc với truy vấn như "Thời tiết hôm nay ở Paris như thế nào?", mô hình nhận ra cần phải sử dụng công cụ bên ngoài và tạo ra lời gọi hàm thích hợp. Nó xác định chính xác Paris là vị trí và xác định rằng Celsius là định dạng nhiệt độ phù hợp dựa trên ngữ cảnh.

Tương tự, khi truy vấn thay đổi thành "Thời tiết hôm nay ở San Francisco như thế nào?", mô hình điều chỉnh và tạo ra lời gọi hàm với vị trí và định dạng nhiệt độ chính xác.

Cơ chế gọi hàm này vượt ra ngoài các truy vấn thời tiết đơn giản. Mô hình cũng có thể xử lý các nhiệm vụ phức tạp hơn, chẳng hạn như thực hiện các tính toán toán học hoặc truy cập các loại dữ liệu và dịch vụ khác.

Việc tích hợp gọi hàm đại diện cho một bước tiến đáng kể trong khả năng của các mô hình ngôn ngữ lớn. Bằng cách vượt ra khỏi các giới hạn của cơ sở kiến thức kín, Mistral v3 có thể khai thác động các nguồn lực bên ngoài để cung cấp các phản hồi toàn diện và phù hợp hơn với các truy vấn của người dùng.

Khi chúng ta khám phá toàn bộ tiềm năng của tính năng gọi hàm nâng cao của Mistral v3, chúng ta có thể mong đợi sẽ thấy nhiều ứng dụng và trường hợp sử dụng sáng tạo hơn nữa, đẩy ranh giới của những gì có thể với các mô hình ngôn ngữ tiên tiến.

Việc phát hành mô hình Mistral 7B V3 bởi nhóm MRO là một bước phát triển đáng kể trong thế giới các mô hình ngôn ngữ lớn. Mô hình không bị kiểm duyệt này có nhiều thay đổi đáng chú ý, bao gồm từ vựng mở rộng, hỗ trợ gọi hàm bản địa và bộ mã thông báo được cập nhật.

Một trong những điểm nổi bật chính của mô hình này là khả năng thực hiện gọi hàm, cho phép nó khai thác các công cụ và nguồn lực bên ngoài để nâng cao khả năng của nó. Ví dụ được trình bày trong bản ghi âm cho thấy cách mô hình có thể sử dụng một hàm "lấy thời tiết hiện tại" để cung cấp thông tin thời tiết chính xác cho