最近的研究表明,將大型語言模型(LLM)與搜索技術相結合可以產生令人印象深刻的能力,甚至超越像GPT-4這樣的大型模型的性能。

一篇論文展示了,一個相對較小的80億參數LLM,當結合蒙特卡羅自我優化算法時,可以在GSM8K數學基準測試中達到96.7%的準確率 - 超過了擁有200倍更多參數的GPT-4、Claude和Gemini。

這種方法將蒙特卡羅樹搜索與LLM相結合,使模型能夠通過搜索不同版本並嘗試改進來逐步優化其答案。該算法遵循蒙特卡羅搜索的一般模式,但將其應用於數學問題解決。

關鍵洞見是,通過給LLM更多時間和計算能力來生成響應,它可以開發出超越人類水平的新能力。這與DeepMind的AlphaGo使用的方法相似,通過大規模自我對弈來超越最優秀的人類圍棋選手。

儘管當前的LLM在長期上下文、視覺和編碼能力等方面受到限制,但這些發現表明,將它們與基於搜索的技術相結合可能是實現大幅能力提升的一條道路。隨著像GPT-5這樣的模型出現,並具有改善的核心能力,將其與先進的搜索算法相結合可能會解鎖更加令人印象深刻的性能,並有可能超越各種基準測試中的典型人類水平能力。

一個相對較小的LLM能夠在數學任務上超越更大的模型,突出了這種方法的潛力,並表明我們可能正處於人工智能推理和問題解決能力重大突破的前夕。