大規模言語モデルのGPT-4は、システム1の思考、つまり素早く直感的で自動的な認知プロセスに優れています。しかし、より遅く、より慎重で分析的な推論を必要とするシステム2の思考には苦戦することが多い。このような制限は、課題を段階に分解し、さまざまなオプションを探索し、解決策を評価する必要がある複雑な問題を効果的に解決できないことに表れている。

主な問題は、大規模言語モデルが根本的な概念を本当に理解したり、問題解決プロセスを論理的に推論したりする能力がなく、パターンマッチングと統計的予測に主に依存していることである。単純な質問には見かけ上合理的な回答を提供できるが、より複雑な課題に直面すると、微妙な点を認識できず、必要な論理的推論を行うことができない。

この制限は、大学生と大規模言語モデルが直感的なシステム1の思考に頼って、見かけ上簡単な問題を解決できなかった例で示されている。

この制限に対処するため、研究者は、チェーン・オブ・シンキング、自己整合性、思考の木などのプロンプト技術を通じて、大規模言語モデルにより堅牢な推論能力を持たせる方法を探っている。これらのアプローチは、モデルに問題を分解し、複数のオプションを検討し、より体系的に解決策を評価させることを目的としている。

さらに、複数のエージェントが協力して複雑な問題を解決するコミュニケーション・エージェントシステムの開発も有望なアプローチである。問題解決者、レビュアーなどの専門的な役割を持つエージェントが相互にフィードバックを行うことで、人間が困難な課題に取り組むときに使う熟考的な思考をより良くシミュレートできる。

大規模言語モデルの分野が進化していく中で、システム2の思考を seamlessly に統合する能力が、これらのモデルが複雑な現実世界の問題を本当に解決できるようになるための重要な要素となるでしょう。この分野の研究と進歩は、人工知能の未来と実用的な応用を形作るうえで不可欠なものとなるでしょう。