OpenAIラボの論文は、別のAIシステムによって生成されたコードを批評するAIシステムの使用という驚くべきアイデアを提示しています。この概念は、AIが生成したコードの品質と信頼性を向上させる新しい可能性を開くものであり、まさに画期的なものです。

研究者らは、まず意図的にバグを既存のアプリケーションに導入し、システムにそれらの問題を識別して説明する方法を学習させることで、AIの批評システムを訓練しました。このアプローチは、大量のトレーニングデータを提供するだけでなく、バグが予期せず発生する現実世界のシナリオをシミュレートするものでもあります。

この実験の結果は驚くべきものです。AIの批評システムは、人間の査読者よりも大幅に多くのバグを特定することができ、60%以上の場合で、人間が書いた批評よりもAIが生成した批評が好まれました。これは、これらのAIシステムが既存のコードベースをより堅牢にし、攻撃から保護する可能性さえあるなど、AIが生成したコードの品質を大幅に向上させることができることを示唆しています。

しかし、論文ではこれらのシステムの限界についても指摘しています。AIが虚偽の情報を生成する「ホールシネーション」は依然として懸念されており、システムはコードベースの複数の部分にまたがる複雑な相互接続の問題にも苦戦しています。これらの場合には、人間の専門家による慎重な確認が必要とされます。

これらの課題にもかかわらず、この技術の可能性は否定できません。研究者がこれらのAIシステムをさらに洗練・改善していくにつれ、ソフトウェア開発ワークフローにAIが生成したコードが seamlessly 統合され、バグや脆弱性に対する警戒者としてのAIの批評が活用される、より印象的な機能が期待できるでしょう。