Không gian AI đã rộn ràng với những phát triển đầy hứng khởi, và tuần này đặc biệt đáng chú ý. Chúng ta đã chứng kiến sự ra mắt của LLaMA 3, mô hình ngôn ngữ lớn nguồn mở tốt nhất đến nay, và bây giờ chúng ta có sự ra mắt của các mô hình Phi-3 từ nhóm AI của Microsoft.

Phi-3 là lần lặp thứ ba của họ Phi, một tập hợp các mô hình nhỏ mới sử dụng các kỹ thuật đào tạo giống như Phi-2. Mục tiêu là tạo ra các mô hình nhỏ nhưng có hiệu suất cao. Với việc ra mắt Phi-3, Microsoft đã giới thiệu bốn mô hình mới trong khuôn khổ này:

1. Phi-3 Mini: Một mô hình với cửa sổ ngữ cảnh 4K.
2. Phi-3 Mini 128K: Một mô hình ấn tượng hơn nữa với cửa sổ ngữ cảnh khổng lồ 128K, mặc dù kích thước chỉ 3,8B tham số.
3. Phi-3 Small: Một mô hình 7B tham số vượt trội các mô hình như Megatron và LLaMA 3.
4. Phi-3 Medium: Một mô hình 14B tham số vượt trội hiệu suất của GPT-3.5 và Megatron trên các tiêu chuẩn đánh giá, bao gồm cả Tiêu chuẩn MML, đánh giá các nhiệm vụ đa phạm vi.

Đặc điểm nổi bật của các mô hình Phi-3 này là hiệu quả và hiệu suất ngoại hạng, thậm chí trên các thiết bị di động. Phi-3 Mini được định lượng 4 bit có thể tạo ra hơn 12 token mỗi giây trên iPhone 14, thể hiện khả năng chạy trực tiếp trên nhiều thiết bị khác nhau.

Họ Phi-3 bao gồm bốn mô hình khác nhau, mỗi mô hình có các thông số kỹ thuật riêng:

1. Phi-3 Mini:

   • Dựa trên kiến trúc bộ giải mã Transformer
   • Độ dài ngữ cảnh mặc định là 4.000 token
   • Cũng có sẵn phiên bản ngữ cảnh dài hơn, Phi-3 Mini 128k, mở rộng độ dài ngữ cảnh lên 128.000 token bằng cách sử dụng Tiếp cận Phạm vi Dài
   • Chia sẻ cùng cấu trúc khối và bộ mã hóa token với mô hình Llama 2

2. Phi-3 Small:

   • Một mô hình 7 tỷ tham số
   • Tận dụng cùng bộ mã hóa token và kiến trúc với các mô hình Phi-3 Mini
   • Độ dài ngữ cảnh mặc định là 8.000 token

3. Phi-3 Medium:

   • Một mô hình 14 tỷ tham số
   • Duy trì cùng bộ mã hóa token và kiến trúc với mô hình Phi-3 Mini
   • Được đào tạo trên tập dữ liệu hơi lớn hơn so với các mô hình nhỏ hơn

4. Phi-3 Mini (Định lượng 4 bit):

   • Một phiên bản được định lượng của mô hình Phi-3 Mini
   • Được thiết kế để triển khai hiệu quả trên các thiết bị di động, chẳng hạn như iPhone 14 với chip A16 Bionic
   • Có khả năng tạo ra hơn 12 token mỗi giây trên iPhone 14

Việc ra mắt các mô hình Phi-3 từ nhóm AI của Microsoft là một bước phát triển đáng kể trong không gian AI. Những mô hình này, là lần lặp thứ ba của họ Phi, sử dụng các kỹ thuật đào tạo giống như Phi-2 để tạo ra các mô hình ngôn ngữ nhỏ nhưng có hiệu suất cao.

Danh mục Phi-3 bao gồm bốn mô hình khác nhau, mỗi mô hình có khả năng và đặc điểm hiệu suất riêng:

1. Phi-3 Mini: Mô hình này có cửa sổ ngữ cảnh 4K, thể hiện hiệu quả ấn tượng trong kích thước nhỏ gọn.
2. Phi-3 Mini 128K: Vượt ra ngoài giới hạn, mô hình này có cửa sổ ngữ cảnh rộng lớn 128K, một thành tựu đáng kể đối với một mô hình kích thước như vậy.
3. Phi-3 Small: Mô hình tiền xem này đã vượt qua hiệu suất của các mô hình lớn hơn như Megatron và LLaMA 3.
4. Phi-3 Medium: Mô hình lớn nhất trong họ Phi-3, mô hình 14 tỷ tham số này vượt trội cả GPT-3.5 và Megatron 8,7B trên các tiêu chuẩn đánh giá.

Khi được đánh giá trên Tiêu chuẩn MML, đánh giá hiệu suất của các nhiệm vụ đa phạm vi, các mô hình Phi-3 đã cho thấy kết quả đáng kinh ngạc. Các mô hình Phi-3 Mini và Phi-3 Small đã vượt qua LLaMA 3 và Gamma 7B, thể hiện khả năng vượt trội trong các nhiệm vụ dựa trên kiến thức.

Các mô hình Phi-3, bao gồm Phi-3 Mini, Phi-3 Mini 128k, Phi-3 Small và Phi-3 Medium, có thể được truy cập và triển khai theo một số cách khác nhau:

1. Sử dụng Hugging Face: Tất cả bốn mô hình Phi-3 đều có sẵn trên Hugging Face Hub. Bạn có thể sử dụng thư viện Hugging Face Transformers để tải và sử dụng các mô hình này trong các ứng dụng Python của mình.

2. Cài đặt cục bộ bằng LLM Studio: Bạn cũng có thể cài đặt các mô hình Phi-3 cục bộ bằng cách sử dụng LLM Studio. Chỉ cần sao chép thẻ mô hình, mở LLM Studio và dán thẻ mô hình vào ô tìm kiếm. Sau đó, nhấp vào nút cài đặt để tải xuống và thiết lập mô hình trên máy tính cục bộ của bạn.

3. Triển khai trên các thiết bị di động: Một trong những lợi thế chính của các mô hình Phi-3 là khả năng chạy hiệu quả trên các thiết bị di động. Mô hình Phi-3 Mini được định lượng 4 bit đã được chứng minh là có thể tạo ra hơn 12 token mỗi giây trên iPhone 14 với chip A16 Bionic.

Mô hình ngôn ngữ Phi-3 của nhóm AI Microsoft là một công cụ mạnh mẽ có thể được khai thác cho nhiều trường hợp sử dụng khác nhau. Mặc dù kích thước nhỏ gọn, Phi-3 đã thể hiện hiệu suất ấn tượng trên nhiều tiêu chuẩn đánh giá, thường vượt qua các mô hình lớn hơn như GPT-3.

Một điểm mạnh của Phi-3 là hiệu quả của nó, cho phép nó được triển khai trên các thiết bị di động và các môi trường tài nguyên hạn chế khác. Điều này khiến nó phù hợp với các ứng dụng yêu cầu phản hồi nhanh chóng, như trợ lý ảo hoặc trò chuyện.

Ngoài ra, hiệu suất mạnh mẽ của mô hình trong các nhiệm vụ dựa trên kiến thức khiến nó trở thành tài sản quý giá cho các hệ thống hỏi đáp, tóm tắt nội dung và truy xuất thông tin. Các nhà phát triển có thể tích hợp Phi-3 vào các ứng dụng của họ để cung cấp cho người dùng các phản hồi ngắn gọn và chính xác đối với các truy vấn của họ.

Mặc dù mô hình Phi-3 đã thể hiện hiệu suất ấn tượng trên nhiều tiêu chuẩn đánh giá, điều quan trọng là phải xem xét các hạn chế và trường hợp sử dụng mà ở đó nó có thể không phải là lựa chọn tối ưu. Như đã nêu trong video, mô hình Phi-3 chủ yếu được thiết kế cho các nhiệm vụ dựa trên kiến thức chung và hỏi đáp, chứ không phải cho việc tạo mã phức tạp hoặc giải quyết vấn đề.

Đối với các nhiệm vụ yêu cầu lập luận nâng cao hơn, chẳng hạn như xây dựng các ứng dụng phần mềm phức tạp hoặc giải quyết các vấn đề phức tạp, mô hình Phi-3 có thể không phải là lựa chọn tốt nhất. Trong những trường hợp như vậy, các mô hình ngôn ngữ lớn hơn và chuyên biệt hơn, như GPT-3 hoặc LLaMA, có thể phù hợp hơn vì chúng đã được đào tạo trên một phạm vi dữ liệu rộng hơn và có thể xử lý các nhiệm vụ phức tạp hơn.