Nghiên cứu gần đây cho thấy rằng việc kết hợp các mô hình ngôn ngữ lớn (LLM) với các kỹ thuật tìm kiếm có thể dẫn đến các khả năng ấn tượng, thậm chí vượt qua hiệu suất của các mô hình lớn hơn nhiều như GPT-4.

Một bài báo đã chứng minh rằng một LLM tương đối nhỏ với 8 tỷ tham số, khi được tăng cường với một thuật toán tự điều chỉnh Monte Carlo, có thể đạt được 96,7% độ chính xác trên bộ chuẩn mực toán học GSM8K - vượt qua GPT-4, Claude và Gemini, những mô hình có nhiều tham số hơn 200 lần.

Cách tiếp cận này tích hợp tìm kiếm cây Monte Carlo với các LLM, cho phép mô hình liên tục hoàn thiện các câu trả lời của mình bằng cách tìm kiếm các phiên bản khác nhau và cố gắng cải thiện. Thuật toán tuân theo các mô hình chung của tìm kiếm Monte Carlo, nhưng áp dụng nó vào việc giải quyết các bài toán toán học.

Nhận thức chính yếu là bằng cách cung cấp cho LLM thêm thời gian và năng lượng tính toán để tạo ra các phản hồi, nó có thể phát triển các khả năng mới vượt qua mức độ hoàn thành của con người trên một số nhiệm vụ nhất định. Điều này phản ánh cách tiếp cận được sử dụng bởi AlphaGo của DeepMind, nơi cải thiện bản thân thông qua việc chơi tự động đã cho phép nó vượt qua những người chơi cờ vây giỏi nhất.

Mặc dù các LLM hiện tại bị giới hạn trong các lĩnh vực như bối cảnh dài, thị giác và khả năng lập trình, những phát hiện này gợi ý rằng việc kết hợp chúng với các kỹ thuật dựa trên tìm kiếm có thể là một con đường đến những cải tiến đáng kể về khả năng. Khi các mô hình như GPT-5 xuất hiện với các khả năng cốt lõi được cải thiện, việc tích hợp chúng với các thuật toán tìm kiếm nâng cao có thể mở khóa hiệu suất ấn tượng hơn nữa, có thể vượt qua khả năng điển hình của con người trên một loạt các bộ chuẩn mực.

Khả năng của một LLM tương đối nhỏ vượt qua các mô hình lớn hơn nhiều trên một nhiệm vụ toán học nổi bật tiềm năng của cách tiếp cận này và gợi ý rằng chúng ta có thể đang ở ngưỡng của những bước đột phá đáng kể trong khả năng lý luận và giải quyết vấn đề của trí tuệ nhân tạo.