Apple đã phát triển một bộ các mô hình trí tuệ nhân tạo tạo ra nội dung có khả năng cao, được tích hợp sâu vào hệ sinh thái iOS, iPadOS và macOS của họ. Các mô hình này được thiết kế để giải quyết các nhiệm vụ hàng ngày của người dùng và cung cấp trí tuệ cá nhân hóa phù hợp với nhu cầu của từng cá nhân.

Nền tảng của các nỗ lực trí tuệ nhân tạo của Apple là một mô hình ngôn ngữ trên thiết bị với 3 tỷ tham số, có thể chạy trực tiếp trên các thiết bị Apple, tận dụng sức mạnh của các chip Apple Silicon để suy luận nhanh chóng và hiệu quả. Mô hình này được bổ sung bởi một mô hình ngôn ngữ lớn hơn, dựa trên máy chủ, có thể xử lý các nhiệm vụ phức tạp hơn khi cần thiết, chạy trên cơ sở hạ tầng đám mây riêng của Apple.

Các mô hình này đã được tinh chỉnh cho nhiều trải nghiệm người dùng khác nhau, bao gồm viết và hoàn thiện văn bản, ưu tiên và tóm tắt thông báo, tạo ra hình ảnh vui nhộn cho các cuộc trò chuyện, và quan trọng nhất là cho phép thực hiện các hành động trong ứng dụng để đơn giản hóa các tương tác giữa các ứng dụng.

Apple đã đặt mạnh mẽ vào việc phát triển trí tuệ nhân tạo có trách nhiệm, với các nguyên tắc trao quyền cho người dùng, đại diện chân thực cho nhu cầu của họ, thiết kế cẩn thận và bảo vệ quyền riêng tư của người dùng. Công ty đã phát triển các kỹ thuật mới cho việc chuẩn bị dữ liệu, tối ưu hóa mô hình và thích ứng động để đảm bảo các công cụ trí tuệ nhân tạo của họ có khả năng cao, hiệu quả và an toàn.

Phương pháp tiếp cận của Apple đối với việc phát triển trí tuệ nhân tạo có trách nhiệm tập trung vào bốn nguyên tắc chính:

1. Trao quyền cho người dùng với các công cụ thông minh: Apple xác định các lĩnh vực mà trí tuệ nhân tạo có thể được sử dụng có trách nhiệm để tạo ra các công cụ đáp ứng nhu cầu cụ thể của người dùng. Họ tập trung vào việc xây dựng các sản phẩm cá nhân sâu sắc, đại diện chân thực cho người dùng và tránh lặp lại các định kiến hoặc thiên vị.

2. Thiết kế cẩn thận: Apple thực hiện các biện pháp phòng ngừa ở mọi giai đoạn của quá trình, bao gồm thiết kế, huấn luyện mô hình, phát triển tính năng và đánh giá chất lượng, để xác định các khả năng lạm dụng hoặc gây hại tiềm ẩn. Họ liên tục cải thiện các công cụ trí tuệ nhân tạo dựa trên phản hồi của người dùng.

3. Bảo vệ quyền riêng tư: Apple bảo vệ quyền riêng tư của người dùng thông qua xử lý trên thiết bị và cơ sở hạ tầng máy tính đám mây riêng của họ. Họ không sử dụng dữ liệu cá nhân hoặc tương tác của người dùng để huấn luyện các mô hình nền tảng của họ.

4. Đại diện cho người dùng của chúng tôi: Apple liên tục làm việc để tránh lặp lại các định kiến và thiên vị hệ thống trong các công cụ và mô hình trí tuệ nhân tạo của họ, với mục tiêu đại diện chân thực cho người dùng trên toàn thế giới.

Bằng cách tuân thủ các nguyên tắc này, Apple nhằm mục đích phát triển các hệ thống trí tuệ nhân tạo trao quyền cho người dùng, bảo vệ quyền riêng tư của họ và tránh các thiệt hại hoặc lạm dụng tiềm ẩn. Phương pháp tiếp cận có trách nhiệm này là một yếu tố khác biệt chính trong chiến lược trí tuệ nhân tạo của Apple.

Các mô hình nền tảng của Apple được huấn luyện bằng cách sử dụng sự kết hợp của dữ liệu được cấp phép và dữ liệu công khai có sẵn được thu thập bởi máy bò web của họ, Apple Bot. Họ đã thực hiện một số biện pháp để đảm bảo chất lượng và an toàn của dữ liệu huấn luyện:

1. Lọc dữ liệu: Họ áp dụng các bộ lọc để loại bỏ thông tin nhận dạng cá nhân, từ ngữ thô tục và nội dung chất lượng thấp khác từ dữ liệu công khai có sẵn.
2. Trích xuất và loại bỏ trùng lặp dữ liệu: Họ thực hiện trích xuất dữ liệu, loại bỏ trùng lặp và áp dụng các bộ phân loại dựa trên mô hình để xác định các tài liệu chất lượng cao.
3. Chiến lược dữ liệu lai: Họ sử dụng một chiến lược dữ liệu lai, kết hợp cả dữ liệu được gán nhãn bằng tay và dữ liệu tổng hợp trong quá trình huấn luyện.
4. Chuẩn bị và lọc dữ liệu kỹ lưỡng: Họ thực hiện chuẩn bị và lọc dữ liệu kỹ lưỡng để đảm bảo chất lượng cao của dữ liệu huấn luyện.

Trong giai đoạn sau huấn luyện, Apple đã phát triển hai thuật toán mới để tối ưu hóa các mô hình thêm:

1. Thuật toán tinh chỉnh bằng cách lấy mẫu từ chối với ủy ban giáo viên: Thuật toán này sử dụng một ủy ban giáo viên và học tập tăng cường từ phản hồi của con người để tinh chỉnh các mô hình.
2. Thuật toán học tập tăng cường từ phản hồi của con người với tối ưu hóa chính sách hạ lưu và ước tính lợi thế loại trừ một phần: Thuật toán này sử dụng tối ưu hóa chính sách hạ lưu và ước tính lợi thế loại trừ một phần để kết hợp phản hồi của con người vào quá trình huấn luyện mô hình.

Để tối ưu hóa các mô hình về tốc độ và hiệu quả, Apple đã sử dụng một số kỹ thuật:

1. Chú ý nhóm truy vấn: Cả mô hình trên thiết bị và mô hình dựa trên máy chủ đều sử dụng chú ý nhóm truy vấn.
2. Bảng nhúng từ vựng đầu vào và đầu ra chung: Điều này giảm yêu cầu về bộ nhớ và chi phí suy luận.
3. Song song hóa bit thấp: Mô hình trên thiết bị sử dụng song song hóa bit thấp để đạt được yêu cầu về bộ nhớ, nguồn điện và hiệu suất cần thiết.
4. Chiến lược cấu hình hỗn hợp 2 bit và 4 bit: Chiến lược này, kết hợp với việc sử dụng bộ điều hợp Lora, duy trì chất lượng mô hình trong khi đạt được trung bình 3,5 bit mỗi trọng số.
5. Công cụ phân tích độ trễ và tiêu thụ điện năng của mô hình tương tác Taria: Công cụ này hướng dẫn lựa chọn tỷ lệ bit cho mỗi hoạt động.
6. Định lượng hoạt động và nhúng: Các kỹ thuật định lượng bổ sung được sử dụng để tối ưu hóa các mô hình.
7. Cập nhật bộ nhớ cache khóa-giá trị hiệu quả: Một phương pháp đã được phát triển để cho phép cập nhật bộ nhớ cache khóa-giá trị hiệu quả trên các bộ xử lý thần kinh.

Các tối ưu hóa này đã cho phép mô hình trên thiết bị đạt được độ trễ đến token đầu tiên là 6 mili giây và tốc độ tạo ra 30 token mỗi giây, ngay cả trước khi sử dụng các kỹ thuật đoán token.

Apple đã sử dụng một loạt các kỹ thuật sáng tạo để tối ưu hóa các mô hình tạo ra nội dung của họ cho cả triển khai trên thiết bị và dựa trên máy chủ. Trọng tâm là đạt được tốc độ và hiệu quả cao để cho phép các trải nghiệm người dùng trơn tru.

Đối với suy luận trên thiết bị, mô hình ngôn ngữ 3 tỷ tham số sử dụng song song hóa bit thấp, một kỹ thuật tối ưu hóa quan trọng để đạt được yêu cầu về bộ nhớ, nguồn điện và hiệu suất cần thiết. Để duy trì chất lượng, Apple đã phát triển một khuôn khổ mới sử dụng bộ điều hợp Lora, kết hợp một chiến lược cấu hình hỗn hợp 2 bit và 4 bit, trung bình 3,5 bit mỗi trọng số để đạt được độ chính xác tương tự.

Ngoài ra, Apple đã phát minh ra một công cụ gọi là Taria, một công cụ phân tích độ trễ và tiêu thụ điện năng của mô hình tương tác, giúp hướng dẫn lựa chọn tỷ lệ bit tốt hơn cho mỗi hoạt động. Họ cũng sử dụng định lượng hoạt động, định lượng nhúng và một phương pháp để cho phép cập nhật bộ nhớ cache khóa-giá trị hiệu quả trên các bộ xử lý thần kinh của họ.

Với các tối ưu hóa này, iPhone 15 Pro có thể đạt được độ trễ đến token đầu tiên là 6 mili giây và tốc độ tạo ra 30 token mỗi giây, ngay cả trước khi sử dụng các kỹ thuật đoán token, mang lại thêm cải thiện.

Đối với mô hình ngôn ngữ lớn dựa trên máy chủ, Apple cũng tập trung vào tốc độ và hiệu quả. Họ sử dụng bảng nhúng từ vựng đầu vào và đầu ra chung để giảm yêu cầu về bộ nhớ và chi phí suy luận. Mô hình máy chủ có kích thước từ vựng là 100.000, so với 49.000 cho mô hình trên thiết bị.

Bằng cách tận dụng các kỹ thuật tối ưu hóa sáng tạo này, Apple đã có thể cung cấp các mô hình trí tuệ nhân tạo có hiệu suất cao, có thể chạy hiệu quả trên cả thiết bị người dùng và cơ sở hạ tầng đám mây riêng của họ, mang lại trải nghiệm người dùng mượt mà và phản hồi.

Các mô hình nền tảng của Apple được tinh chỉnh cho các hoạt động hàng ngày của người dùng và có thể chuyên môn hóa động theo nhu cầu của từng nhiệm vụ. Họ sử dụng các bộ điều hợp - các mô-đun mạng nơ-ron nhỏ có thể được kết nối vào các lớp khác nhau của mô hình được huấn luyện trước để tinh chỉnh các mô hình cho các nhiệm vụ cụ thể. Bằng cách ch