Mở rộng cửa sổ ngữ cảnh của các mô hình ngôn ngữ lớn mở ra các khả năng và trường hợp sử dụng đáng kể. Như Leo giải thích, một cửa sổ ngữ cảnh lớn hơn cho phép mô hình giữ nhiều thông tin hơn trong "bộ nhớ làm việc" của nó, tương tự như cách con người có thể nhanh chóng nghiên cứu về một chủ đề trước khi thi. Điều này cho phép mô hình thực hiện các suy luận và tổng hợp phức tạp hơn trên một tập hợp thông tin rộng hơn.

Một số lợi ích chính của các cửa sổ ngữ cảnh dài hơn bao gồm:

• Hiệu quả và Giảm Overhead: Thay vì phải chia thông tin thành các phần nhỏ hơn và cấp cho mô hình tuần tự, một cửa sổ ngữ cảnh dài hơn cho phép mô hình xử lý toàn bộ ngữ cảnh trong một lần. Điều này giảm nhu cầu về tiền xử lý, tóm tắt và các nhiệm vụ overhead khác.

• Hiểu biết sâu sắc hơn: Với nhiều ngữ cảnh có sẵn, mô hình có thể hiểu tốt hơn về các mối quan hệ và kết nối giữa các phần thông tin khác nhau. Điều này đặc biệt mạnh mẽ đối với các trường hợp sử dụng như tạo mã, nơi mô hình có thể lý luận về toàn bộ cơ sở mã hoặc dự án, thay vì chỉ một tệp hoặc hàm duy nhất.

• Tích hợp đa phương tiện: Các cửa sổ ngữ cảnh dài hơn cho phép mô hình thu nhận và lý luận về các nguồn dữ liệu đa dạng, từ văn bản đến hình ảnh và video. Điều này mở ra các khả năng mới cho các nhiệm vụ yêu cầu tham chiếu chéo và tổng hợp thông tin từ nhiều phương tiện khác nhau.

Thách thức trong việc đạt được các cửa sổ ngữ cảnh dài hơn chủ yếu liên quan đến hiệu quả tính toán và đảm bảo mô hình có thể tận dụng hiệu quả ngữ cảnh bổ sung. Như Leo mô tả, các kỹ thuật như lưu vào bộ nhớ cache và tối ưu hóa các tính toán chú ý là chìa khóa để làm cho các mô hình này trở nên thực tế và có hiệu suất cao.

Nói chung, khả năng làm việc với các cửa sổ ngữ cảnh dài hơn đại diện cho một bước tiến đáng kể trong khả năng của các mô hình ngôn ngữ lớn. Nó mở ra cánh cửa cho các trợ lý AI mạnh mẽ, linh hoạt và nhận thức ngữ cảnh hơn, có thể giải quyết các vấn đề thực tế ngày càng phức tạp.

Mở rộng cửa sổ ngữ cảnh của các mô hình ngôn ngữ lớn vượt quá 4-8K token điển hình đặt ra những thách thức tính toán đáng kể. Điểm nghẽn chính nằm ở tính toán chú ý, tăng theo bình phương số lượng token.

Để giải quyết vấn đề này, nhóm tại Gradient đã phát triển các kỹ thuật mới để làm cho việc huấn luyện các mô hình ngữ cảnh dài trở nên hiệu quả hơn nhiều - hiệu quả về thời gian tính toán lên đến 30 lần và hiệu quả về mẫu lên đến 100 lần so với các công việc trước đây. Điều này đã cho phép họ huấn luyện thành công một mô hình Llama 3 với cửa sổ ngữ cảnh 1 triệu token.

Quy trình này bao gồm việc thiết kế cẩn thận mã hóa vị trí để cho phép mô hình hiểu và lý luận hiệu quả trên các ngữ cảnh dài như vậy. Ngoài ra, nhóm đã triển khai các chiến lược lưu vào bộ nhớ cache để tái sử dụng các tính toán chú ý qua nhiều truy vấn, giảm gánh nặng tính toán thời gian thực.

Mặc dù sử dụng các mô hình ngữ cảnh dài này tốn nhiều tài nguyên tính toán hơn các phiên bản cơ bản 4-8K, nhưng nhóm đã đảm bảo rằng hiệu suất trên các ngữ cảnh ngắn không bị suy giảm. Điều này cho phép người dùng chuyển đổi liền mạch giữa các chế độ ngữ cảnh ngắn và dài tùy theo nhu cầu, mà không hy sinh chất lượng.

Để đánh giá các khả năng ngữ cảnh dài này, nhóm sử dụng các bộ đánh giá nâng cao như "Needle in a Haystack" và "Ruler". Những bộ này vượt xa các nhiệm vụ truy xuất đơn giản, kiểm tra khả năng tổng hợp thông tin của mô hình được phân tán trên ngữ cảnh dài.

Quy trình mở rộng cửa sổ ngữ cảnh của các mô hình ngôn ngữ lớn như Llama 3 liên quan đến một số yếu tố chính. Trước tiên, các thách thức tính toán phải được giải quyết, vì chạy các mô hình ngữ cảnh dài trên một GPU đơn lẻ có thể nhanh chóng trở nên không khả thi. Nhóm tại Gradient đã làm việc để cải thiện hiệu quả của quá trình huấn luyện của họ, đạt được cải thiện lên đến 100 lần về hiệu quả mẫu so với các công việc trước đây.

Mở rộng độ dài ngữ cảnh cũng yêu cầu dạy mô hình các kỹ năng mới trong việc hiểu và lý luận trên các chuỗi văn bản dài hơn. Điều này được thực hiện thông qua một quá trình huấn luyện tương tự như huấn luyện mô hình ban đầu, với trọng tâm là mã hóa vị trí để giúp mô hình phân biệt giữa các token cách nhau 10, 100 hoặc một triệu token.

Khi đến việc đánh giá hiệu suất của các mô hình ngữ cảnh dài, nhiệm vụ "needle in a haystack" là một điểm khởi đầu tốt, nơi mô hình phải định vị một mẩu thông tin nhỏ chôn vùi trong một ngữ cảnh lớn. Tuy nhiên, điều này chỉ kiểm tra khả năng của mô hình trong việc thực hiện truy xuất liên kết. Để đánh giá tốt hơn khả năng của mô hình trong việc tham chiếu chéo và tổng hợp thông tin từ các phần khác nhau của một ngữ cảnh lớn, các bộ đánh giá như "Ruler" của Nvidia phù hợp hơn.

Ruler trình bày một chuỗi 13 nhiệm vụ khác nhau, từ nhiều kim trong đống cỏ khô đến theo dõi biến, nơi mô hình phải theo dõi một chuỗi các mẩu thông tin phụ thuộc lẫn nhau. Loại bộ đánh giá này phản ánh tốt hơn các trường hợp sử dụng thực tế cho các mô hình ngữ cảnh dài, chẳng hạn như hiểu và lý luận về các cơ sở mã lớn hoặc các thông tin phức tạp, đa phần khác.

Mặc dù các mô hình ngữ cảnh dài hiện tại như phiên bản Llama 3 triệu token của Gradient thực hiện tốt trên các bộ đánh giá này, vẫn còn nhiều chỗ để cải thiện, đặc biệt khi độ dài ngữ cảnh tiếp tục tăng. Nhóm đang khám phá các kỹ thuật hiệu quả về bộ nhớ để phục vụ các mô hình này, cho phép các trường hợp sử dụng thực tế và dễ tiếp cận hơn. Khi lĩnh vực các mô hình ngôn ngữ lớn tiếp tục phát triển, khả năng làm việc và lý luận trên các ngữ cảnh dài hơn sẽ là một lĩnh vực chú trọng và đổi mới.

Khi lĩnh vực các mô hình ngôn ngữ lớn tiếp tục phát triển, hai lĩnh vực chính tạo ra sự phấn khích là hiệu quả bộ nhớ và đa phương tiện.

Hiệu quả bộ nhớ:

• Phục vụ các mô hình ngôn ngữ lớn với cửa sổ ngữ cảnh hàng triệu token đặt ra những thách thức tính toán đáng kể.
• Các kỹ thuật như lưu vào bộ nhớ cache và nén chọn lọc bộ nhớ có thể giúp làm cho các mô hình này hiệu quả hơn về bộ nhớ và thực tế hơn khi triển khai.
• Mục tiêu là bắt chước khả năng của não người trong việc truy cập có chọn lọc thông tin liên quan từ "ngân hàng bộ nhớ" của chúng ta thay vì giữ toàn bộ nội dung của một cuốn sách giáo khoa trong bộ nhớ làm việc của chúng ta.
• Phát triển các thuật toán hiệu quả về bộ nhớ sẽ là điều quan trọng để làm cho các mô hình ngữ cảnh lớn trở nên rộng rãi và có thể sử dụng được.

Đa phương tiện:

• Khả năng tích hợp và lý luận trên nhiều phương tiện, chẳng hạn như văn bản, hình ảnh và thậm chí video, là một ranh giới then chốt cho các mô hình ngôn ngữ lớn.
• Có thể nhét toàn bộ một video 30 phút vào cửa sổ ngữ cảnh và để mô hình hiểu và lý luận về nội dung của nó mở ra những khả năng mới.
• Sự hiểu biết đa phương tiện này có thể cho phép các ứng dụng mạnh mẽ, như tạo mã kết hợp với cơ sở mã, hoặc trả lời câu hỏi dựa trên nhiều nguồn thông tin.
• Thúc đẩy các khả năng đa phương tiện sẽ yêu cầu thêm nghiên cứu và đổi mới, nhưng những lợi ích tiềm năng là đáng kể.

Nói chung, tương lai của các mô hình ngôn ngữ lớn nằm ở việc làm cho chúng hiệu quả hơn về bộ nhớ và đa phương tiện. Bằng cách giải quyết những thách thức này, cộng đồng nghiên cứu có thể mở khóa các mức độ hiểu biết và lý luận ngôn ngữ mới, với các ứng dụng có tác động chuyển đổi trong các ngành công nghiệp.

Khả năng mở rộng cửa sổ ngữ cảnh của các mô hình ngôn ngữ lớn là một bước tiến đáng kể trong lĩnh vực xử lý ngôn ngữ tự nhiên. Như Leo đã thảo luận, một cửa sổ ngữ cảnh lớn hơn cho phép các mô hình giữ nhiều thông tin hơn trong "bộ nhớ làm việc" của chúng, cho phép chúng thực hiện các suy luận và tổng hợp phức tạp hơn trên một phạm vi thông tin rộng hơn.

Một số lợi ích chính của các cửa sổ ngữ cảnh lớn bao gồm:

• Hỗ trợ lập trình tốt hơn: Cho phép các mô hình tham chiếu đến toàn bộ cơ sở mã hoặc nhiều kho lưu trữ có thể cho phép tạo mã tinh vi hơn và tích hợp.
• Tăng cường khả năng đa phương tiện: Chứa văn bản, hình ảnh hoặc thậ