Mô hình LLaMA 3, với cửa sổ ngữ cảnh 256k của nó, thể hiện khả năng tạo mã ấn tượng. Mặc dù đây là phiên bản nhỏ hơn với 8 tỷ tham số, nó vẫn có thể nhanh chóng tạo ra một trò chơi rắn đơn giản bằng Python. Tuy nhiên, chất lượng của mã được tạo ra không phải không có vấn đề, vì nó gặp một số lỗi cần phải gỡ lỗi.

Khi kiểm tra khả năng của mô hình trong việc giải quyết một bài toán từ vấn đề toán học, nó đã gặp khó khăn trong việc cung cấp giải pháp chính xác, nhấn mạnh nhu cầu cần tinh chỉnh thêm hoặc cải thiện khả năng lập luận của mô hình.

Điểm nổi bật thực sự của mô hình LLaMA 3 này là tính không bị kiểm duyệt của nó. Khi được nhắc về các hoạt động bất hợp pháp, mô hình đã cung cấp hướng dẫn chi tiết, từng bước mà không hề do dự. Điều này nhấn mạnh tầm quan trọng của việc phát triển và triển khai có trách nhiệm đối với các mô hình ngôn ngữ mạnh mẽ như vậy.

Tác giả bắt đầu bằng việc giới thiệu phiên bản không bị kiểm duyệt của LLaMA 3, có cửa sổ ngữ cảnh 256k. Họ bày tỏ sự phấn khích khi kiểm tra mô hình này, lưu ý rằng họ đã thực hiện một video kiểm tra LLaMA 3 với toàn bộ bộ tiêu chí LLM của họ, có thể tìm thấy trong phần mô tả.

Tác giả sau đó tiến hành kiểm tra hiệu suất của mô hình, bắt đầu với một nhiệm vụ đơn giản là viết một trò chơi rắn bằng Python. Họ nhận thấy rằng mô hình có thể tạo ra mã nhanh chóng, nhưng vẫn có một số vấn đề với việc thực hiện. Tác giả sau đó kiểm tra khả năng của mô hình trong việc giải quyết một bài toán từ vấn đề toán học, nhưng mô hình không hoạt động tốt.

Tiếp theo, tác giả kiểm tra khả năng không bị kiểm duyệt của mô hình bằng cách hỏi cách phá vào một chiếc xe và cách chế tạo một vật cụ thể. Mô hình cung cấp hướng dẫn chi tiết, từng bước, mà tác giả đã làm mờ để tránh khuyến khích các hoạt động có hại.

Tác giả sau đó kiểm tra khả năng lập luận logic của mô hình bằng cách trình bày "Vấn đề của Kẻ Giết Người", nhưng phản hồi của mô hình là không chính xác.

Cuối cùng, tác giả cố gắng kiểm tra cửa sổ ngữ cảnh 256k bằng cách đặt một mật khẩu trong một khối văn bản lớn (nửa đầu tiên của cuốn sách đầu tiên của Harry Potter) và yêu cầu mô hình tìm nó. Tuy nhiên, mô hình không thể tìm thấy mật khẩu, và tác giả gợi ý rằng họ có thể đang làm sai cái gì đó.

Mô hình gặp khó khăn với cả các vấn đề toán học và logic trong các bài kiểm tra. Khi được yêu cầu viết một trò chơi rắn bằng Python, mã được tạo ra có một số lỗi và không hoạt động như mong đợi. Tương tự, khi được trình bày một bài toán từ vấn đề yêu cầu chuyển đổi nó thành một thuật toán, mô hình không thể cung cấp câu trả lời đúng trong các lựa chọn đa lựa chọn.

Mô hình cũng gặp khó khăn với một vấn đề logic liên quan đến số lượng kẻ giết người trong một phòng. Phản hồi của nó là không chính xác, cho thấy hiệu suất kém trong lĩnh vực này.

Nói chung, kết quả cho thấy trong khi mô hình có thể xuất sắc trong một số nhiệm vụ, chẳng hạn như tạo nội dung không bị kiểm duyệt, nó lại gặp khó khăn với các nhiệm vụ giải quyết vấn đề và lập luận phức tạp hơn liên quan đến toán học và logic. Điều này nhấn mạnh nhu cầu phát triển và hoàn thiện thêm các khả năng của mô hình trong các lĩnh vực này.

Mô hình đã có thể nhanh chóng tạo ra mã cho một trò chơi rắn đơn giản, thể hiện tốc độ và khả năng của nó. Tuy nhiên, khi cố gắng thực hiện các nhiệm vụ phức tạp hơn như giải quyết một bài toán từ vấn đề toán học hoặc một câu đố logic, mô hình đã gặp khó khăn và không cung cấp được các giải pháp chính xác.

Tính không bị kiểm duyệt của mô hình đã được kiểm tra bằng cách hỏi nó về các hoạt động bất hợp pháp, và nó đã cung cấp hướng dẫn từng bước, điều này gây lo ngại. Tuy nhiên, tác giả đã chọn không hiển thị thông tin này để tránh khuyến khích hành vi có hại.

Khi kiểm tra cửa sổ ngữ cảnh 256K, tác giả đã cố gắng ẩn một mật khẩu trong một khối văn bản lớn (44.000 token) và yêu cầu mô hình tìm nó. Không may, mô hình không thể tìm thấy mật khẩu trong ngữ cảnh đã cho, cho thấy rằng cửa sổ ngữ cảnh mở rộng có thể không hoạt động như mong đợi.

Nói chung, hiệu suất của mô hình là hỗn hợp, với điểm mạnh trong việc tạo mã đơn giản nhưng điểm yếu trong các nhiệm vụ lập luận phức tạp hơn. Tính không bị kiểm duyệt của mô hình cũng đặt ra những mối quan ngại đạo đức cần được xem xét cẩn thận.

Bài kiểm tra sắp tới sẽ tập trung vào mô hình Gradient LLaMA 3 Instruct, có cửa sổ ngữ cảnh khổng lồ 1 triệu token. Mô hình này là phiên bản 7 tỷ tham số của mô hình LLaMA 3 Instruct, được phát triển bởi Gradient.

Điểm nổi bật chính của bài kiểm tra này sẽ là:

1. Bài kiểm tra Needle in the Haystack: Bài kiểm tra sẽ bao gồm việc nhúng một thông tin cụ thể (một mật khẩu) trong một ngữ cảnh văn bản lớn (nửa đầu tiên của cuốn sách đầu tiên của Harry Potter, tổng cộng 44.000 token). Mô hình sẽ được yêu cầu tìm lại mật khẩu ẩn trong văn bản đã cung cấp.

2. Cửa sổ ngữ cảnh mở rộng: Cửa sổ ngữ cảnh 1 triệu token của mô hình Gradient LLaMA 3 Instruct sẽ được kiểm tra, cho phép mô hình tận dụng một lượng thông tin ngữ cảnh đáng kể hơn so với các bài kiểm tra trước đó.

3. Khả năng của mô hình: Bài kiểm tra sẽ nhằm đánh giá khả năng của mô hình trong việc xử lý việc truy xuất thông tin quy mô lớn và hiệu suất tổng thể của nó trong các nhiệm vụ yêu cầu hiểu biết ngữ cảnh rộng lớn.

Bằng cách khám phá các khả năng của mô hình Gradient LLaMA 3 Instruct, bài kiểm tra sắp tới sẽ cung cấp những hiểu biết quý giá về tiềm năng của các mô hình ngôn ngữ lớn với các cửa sổ ngữ cảnh mở rộng. Kết quả của bài kiểm tra này sẽ được chia sẻ trong một video trong tương lai, vì vậy hãy theo dõi thêm về những cập nhật thú vị này trong thế giới của trí tuệ nhân tạo.