最近的研究表明,将大型语言模型(LLM)与搜索技术相结合可以带来令人印象深刻的能力,甚至超过像GPT-4这样的大型模型的性能。

一篇论文证明,一个相对较小的80亿参数的LLM,当结合蒙特卡洛自我优化算法时,可以在GSM8K数学基准测试中达到96.7%的准确率 - 超过了拥有200倍参数的GPT-4、Claude和Gemini。

这种方法将蒙特卡洛树搜索与LLM相结合,允许模型通过搜索不同版本并尝试改进来迭代地优化其答案。该算法遵循蒙特卡洛搜索的一般模式,但将其应用于数学问题解决。

关键洞见是,通过给LLM更多的时间和计算能力来生成响应,它可以开发出超越人类水平的新能力。这与DeepMind的AlphaGo使用的方法类似,通过大规模自我对弈来超越最优秀的人类围棋选手。

虽然当前的LLM在长期上下文、视觉和编码能力等方面存在局限性,但这些发现表明,将它们与基于搜索的技术相结合可能是实现大幅能力提升的一条道路。随着像GPT-5这样的模型出现并改善其核心能力,将其与先进的搜索算法相结合可能会解锁更加令人印象深刻的性能,有可能在各种基准测试中超越典型的人类水平能力。

一个相对较小的LLM能够在数学任务上超越更大的模型,突出了这种方法的潜力,并表明我们可能正处于人工智能推理和问题解决能力重大突破的边缘。