OpenDevin、DeepMindのDeepCodeの代替オープンソースソリューションは、最近フレームワークに2つの大きなアップグレードを発表しました。1つ目は、CodeAct 1.0の導入で、これは驚くべき21%の解決率を達成したSowaiBench light unassistedバージョンの新しい最先端のコーディングエージェントです。これは以前のパフォーマンスから177%の改善です。このエージェントはCodeActフレームワークを基に、大規模言語モデルエージェントのアクションを統合したコードインターフェースを構築しています。

2つ目の発表は、コーディングエージェントをテストするための新しい簡略化された評価ハーネスの導入です。このハーネスは、エージェントの包括的で改善された評価を促進し、時間とともにこれらのAIツールの継続的な向上を後押しすることを目的としています。

CodeAct 1.0エージェントは、人間とのコミュニケーション、コードの分類、コードの確認と実行(LinuxのbashコマンドとPython)、ファイルの操作(開く、移動、検索、編集など)など、いくつかの重要な機能を導入しています。これらの機能は、以前のSowaiBenchエージェントフレームワークから得られた教訓に基づいて構築され、ツールセットを拡張し、全体的なパフォーマンスを向上させています。

さらに、新しい評価ハーネスには、Mintプロジェクトから着想を得た、タスクを固定回数の対話内で完了するよう促すカウントダウンメカニズムが組み込まれています。これに加えて、簡略化されたbashコマンドの記述と解析プロセスにより、フレームワークのユーザビリティとアクセシビリティが向上しています。

OpenDevinのこれらのアップグレードは、高度なAIエージェントを使ってソフトウェア開発を強化する継続的な取り組みを示しています。大規模言語モデルのコードデータに対するプリトレーニングを活用し、豊富なソフトウェアパッケージにアクセスすることで、CodeAct 1.0エージェントは複雑なコーディングタスクや現実世界のソフトウェア開発の課題に取り組むことを目指しています。新しい簡略化された評価ハーネスは、これらのエージェントの継続的な改善を後押しし、開発者やソフトウェアエンジニアの日々の業務に役立つことでしょう。