Mô hình Llama 3.1 8B đã chứng kiến một sự cải thiện chất lượng đáng kể so với phiên bản trước đó. Kết quả đánh giá cho thấy mô hình mới vượt trội hơn so với phiên bản cũ trên các chỉ số khác nhau:

• BQ: Mô hình Llama 3.1 8B đạt điểm số tốt hơn trên tiêu chuẩn BQ, cho thấy hiệu suất được cải thiện.
• GSM8K: Mô hình mới đạt điểm số 0,57, một sự cải thiện đáng kể so với 0,84 của phiên bản trước đó.
• Hellaswag: Mô hình Llama 3.1 8B đạt 46 điểm, so với 76 điểm của phiên bản trước đó, thể hiện sự cải thiện hiệu suất.
• Đánh giá của con người: Đây có lẽ là tiêu chuẩn quan trọng nhất, và mô hình Llama 3.1 8B đã gần như gấp đôi điểm số, từ 34 lên 68, thể hiện sự cải thiện chất lượng đáng kể.

Đầu tiên, chúng tôi đã kiểm tra khả năng của mô hình trong việc tạo ra một đoạn mã Python đơn giản để xuất các số từ 1 đến 100. Mô hình đã nhanh chóng cung cấp nhiều lần lặp lại chính xác của đoạn mã, chứng tỏ khả năng thành thạo trong lập trình Python cơ bản.

Tiếp theo, chúng tôi thách thức mô hình với một nhiệm vụ phức tạp hơn - viết trò chơi Rắn bằng Python. Ban đầu, mô hình gặp khó khăn với nhiệm vụ này, cung cấp mã có vấn đề với chuyển động và tốc độ của con rắn. Sau nhiều lần thử và phản hồi, mô hình đã có thể tạo ra mã gần với một trò chơi Rắn hoạt động, nhưng vẫn còn một số vấn đề nhỏ. Nhìn chung, mô hình cho thấy khả năng tương đối trong việc hiểu và tạo ra mã Python, nhưng vẫn gặp khó khăn với các nhiệm vụ lập trình phức tạp hơn.

Mô hình gặp khó khăn trong việc xử lý các chủ đề nhạy cảm liên quan đến kiểm duyệt và lý luận đạo đức. Khi được yêu cầu về việc phá vỡ một chiếc xe hơi hoặc chế tạo methamphetamine, mô hình đã từ chối cung cấp bất kỳ hướng dẫn nào, với lý do không thể hỗ trợ các hoạt động bất hợp pháp. Tuy nhiên, khi được nhắc cung cấp thông tin lịch sử về các chủ đề này, phản ứng của mô hình không nhất quán, đôi khi hiểu yêu cầu như một yêu cầu về hướng dẫn.

Đối với vấn đề đạo đức về việc có nên nhẹ nhàng đẩy một người lạ để cứu nhân loại khỏi tuyệt chủng, mô hình đã cung cấp một phân tích chu đáo về các yếu tố cần cân nhắc, nhưng cuối cùng từ chối đưa ra câu trả lời rõ ràng là có hay không. Sự do dự này trong việc đưa ra phán xét đạo đức rõ ràng, ngay cả trong một kịch bản giả định cực đoan, cho thấy những thách thức mà các hệ thống trí tuệ nhân tạo phải đối mặt trong việc điều hướng các câu hỏi đạo đức phức tạp.

Phần này bao gồm hiệu suất của mô hình trong các nhiệm vụ toán học và lý luận logic. Các điểm chính là:

• Mô hình đã có thể giải quyết chính xác bài toán số học đơn giản "25 - 4 * 2 + 3", thể hiện năng lực trong các phép toán cơ bản.

• Đối với bài toán về chi phí phòng khách sạn, mô hình đã cung cấp tính toán chính xác về tổng chi phí, bao gồm cả giá phòng, thuế và các khoản phí bổ sung.

• Tuy nhiên, mô hình gặp khó khăn trong việc ước tính số lượng từ trong phản hồi trước đó, không thể cung cấp một con số chính xác.

• Mô hình cũng không thể giải quyết đúng một câu đố tư duy nổi tiếng về số kẻ giết người còn lại trong một phòng sau khi một người bị giết.

• Tương tự, mô hình không thể xác định vị trí của viên bi được đặt trong một cái ly sau đó được chuyển đến lò vi sóng, cho thấy hạn chế trong khả năng lý luận không gian.

• Nhìn chung, phần này cho thấy hiệu suất hỗn hợp, với mô hình xuất sắc trong các tính toán toán học đơn giản nhưng gặp khó khăn với các nhiệm vụ lý luận và logic phức tạp hơn.

Viên bi ban đầu được đặt bên trong cái ly. Khi cái ly được lật ngược và đặt trên bàn, viên bi vẫn ở bên trong cái ly do lực hấp dẫn. Tuy nhiên, khi cái ly sau đó được đặt trong lò vi sóng, vị trí của viên bi trở nên không rõ ràng. Mặc dù cái ly và viên bi được di chuyển vật lý đến lò vi sóng, nhưng vị trí của viên bi bên trong cái ly không được nêu rõ. Do đó, câu trả lời chính xác cho câu hỏi "Viên bi ở đâu?" không thể được xác định chắc chắn dựa trên thông tin được cung cấp.

Tôi hoàn toàn thất vọng với hiệu suất của mô hình Llama 3.1 8B. Mặc dù có kỳ vọng cao đối với phiên bản nhỏ hơn nhưng có khả năng cao hơn này, nhưng hiệu suất của mô hình trong các bài kiểm tra khác nhau đều kém.

Mô hình gặp khó khăn với một số nhiệm vụ, bao gồm:

• Triển khai một trò chơi Rắn hoạt động trong Python
• Cung cấp hướng dẫn cho các hoạt động phi đạo đức hoặc bất hợp pháp
• Trả lời chính xác các vấn đề logic và lý luận
• Xác định số lớn hơn giữa hai số
• Đưa ra phán xét đạo đức rõ ràng về vấn đề tàu điện

Mặc dù mô hình có thể xử lý một số nhiệm vụ lập trình cơ bản và các bài toán toán học đơn giản, nhưng nó không thể chứng minh được mức chất lượng và khả năng đã được hứa hẹn. Phiên bản Llama 3.1 lớn hơn với 405B tham số có thể ấn tượng, nhưng phiên bản 8B này không đáp ứng được kỳ vọng.

Tôi sẽ tiếp tục điều tra và xem liệu có bất kỳ vấn đề nào với cài đặt hoặc cấu hình có thể ảnh hưởng đến hiệu suất của mô hình. Tuy nhiên, dựa trên kết quả, tôi không thể khuyến nghị sử dụng phiên bản 8B của Llama 3.1 vào thời điểm này. Mô hình đơn giản không đáp ứng được các tiêu chuẩn cao mà tôi đã đặt ra cho nó.