최근 연구에 따르면 대규모 언어 모델(LLM)과 검색 기술을 결합하면 GPT-4와 같은 훨씬 더 큰 모델의 성능을 능가하는 인상적인 기능을 발휘할 수 있습니다.

논문에서는 몬테카를로 자기 개선 알고리즘으로 보강된 상대적으로 작은 80억 개의 매개변수 LLM이 GSM8K 수학 벤치마크에서 96.7%의 정확도를 달성하여 GPT-4, Claude, Gemini보다 우수한 성능을 보였다고 입증했습니다.

이 접근 방식은 몬테카를로 트리 검색을 LLM과 통합하여 모델이 다양한 버전을 탐색하고 개선을 시도하면서 답변을 점진적으로 개선할 수 있게 합니다. 이 알고리즘은 몬테카를로 검색의 일반적인 패턴을 따르지만 수학 문제 해결에 적용합니다.

핵심 통찰은 LLM에 더 많은 시간과 컴퓨팅 파워를 제공하면 특정 작업에서 인간 수준을 능가하는 새로운 기능을 개발할 수 있다는 것입니다. 이는 DeepMind의 AlphaGo가 사용한 접근 방식과 유사합니다. 거대한 자체 플레이를 통해 자기 개선을 이루어 최고의 인간 바둑 플레이어를 능가했습니다.

현재 LLM은 장기 문맥, 비전, 코딩 능력 등의 영역에서 제한적이지만, 이러한 발견은 검색 기반 기술과 결합하면 상당한 기능 향상으로 이어질 수 있음을 시사합니다. GPT-5와 같은 향후 모델이 핵심 기능을 개선하면 고급 검색 알고리즘과 통합하여 다양한 벤치마크에서 전형적인 인간 수준을 능가하는 성능을 발휘할 수 있을 것입니다.

상대적으로 작은 LLM이 훨씬 더 큰 모델을 수학 과제에서 능가할 수 있다는 점은 이 접근 방식의 잠재력을 보여주며, AI 추론 및 문제 해결 능력에 있어 중요한 돌파구가 될 수 있음을 시사합니다.