AutoCoder は、最近 AI コミュニティで注目を集めている新しい大規模言語モデルです。このモデルは、著名な Human Eval ベンチマークで、GPT-4 Turbo (2024年4月版) や新しい GPT-4 Omni を凌駕する性能を発揮しています。これは非常に印象的な成果です。

AutoCoder が際立つ点は、その多目的なコードインタープリターにあります。GPT-4 Turbo や Omni のように組み込みパッケージに制限されることなく、AutoCoder は必要に応じて外部パッケージを自動的にインストールできるため、扱えるタスクの範囲が大幅に広がっています。

もう1つの重要な違いは、コードインタープリターの呼び出し方です。AutoCoder では、ユーザーがコードの検証を必要とする場合にのみインタープリターが使用されます。一方、GPT-4 Turbo の場合、ユーザーの入力や検証を待つことなく、生成されたすべての Python コードが自動的に実行されます。

AutoCoder の優れた性能は、その独自のトレーニングプロセスに起因しています。モデルのトレーニングデータは、エージェントの対話と外部コード実行の検証を組み合わせた多回線対話データセットです。この教示チューニングアプローチは、高品質で実行可能なコードを生成する能力を身につけさせています。

全体として、AutoCoder の機能は、コーディングタスクに最適な有望なオープンソースモデルとなっています。Human Eval ベンチマークで最新の GPT-4 モデルを凌駕したことは、コード生成と解釈における大規模言語モデルの進歩を示す証左です。

AI EV Instruct アーキテクチャは、教育段階と自己学習段階の2つの主要な段階に分かれています。

教育段階では、モデルは主に GPT-4 Turbo や DeBERTa などの教師モデルからの知識蒸留によって学習します。この段階には4つの重要なステップがあります:

1. 初期化: モデルが役割、対話メッセージ、およびコードインタープリターを初期化します。
2. 問題解決: モデルが問題を説明し、解決策を提供します。対話メッセージには問題の説明が付加されます。
3. 実行フィードバック: モデルがエラーを処理し、自然言語の説明を提供し、コードモデルを修正します。
4. 終了: プログラムが正常に実行された場合、対話メッセージがデータ評価段階に移行するために追加されます。

自己学習段階では、学習者モデルが元のモデルに取って代わり、質問者とプログラマーの両方の役割を担います。学習者モデルは、教師モデルに依存することなく、完全な実行フィードバックプロセスを自律的に完了することで、その性能を継続的に学習し向上させることができます。

この2段階のアーキテクチャにより、AI EV Instruct モデルはより効率的かつ効果的にコード解釈機能を学習し、向上させることができ、GPT-4 Turbo や GPT-4 Omni などの最先端モデルを Human Eval ベンチマークで凌駕することができます。

コード強化に焦点を当てた新しい大規模言語モデルである AutoCoder は、他の最先端のコーディング重視モデルと比べて、はるかに堅牢なデータセットを持っています。主な違いは以下の通りです:

• AutoCoder データセット: 169,000 件のデータサンプル、241 ラウンドの対話、メイン関数、パッケージインストール、コード実行エラー、修正が含まれています。さらに、精度向上のためにユニットテストも組み込まれています。

• Magic Coder OSS Instruct: 75,000 件のデータサンプル、75 ラウンドの対話

• Magic Coder EAL Instruct: わずか 1,111 件のデータサンプル、111 ラウンドの対話

AutoCoder のトレーニングデータには、はるかに大きなデータセットと包括的な対話ラウンドが含まれているため、他のモデルに明確な優位性があります。ユニットテストの組み込みは、AutoCoder の生成するコードの正確性と信頼性をさらに高めています。

LLaMA 7B や GPT-4 Omni Ultra などの大規模言語モデルと比較しても、AutoCoder は自身の地位を確立しており、コーディング分野での強力なパフォーマンスを示しています。このオープンソースモデルは、開発者がプロジェクトで活用できる魅力的な機会を提供しています。

AutoCoder は、コード生成と解釈に焦点を当てた新しい大規模言語モデルで、最近 Human Eval ベンチマークで GPT-4 Turbo (2024年4月版) や GPT-4 Omni を凌駕する性能を発揮しました。これは非常に注目に値する成果です。これらのモデルは以前、コード関連のタスクで最先端と考えられていたからです。

AutoCoder の主な利点の1つは、より制限されている GPT-4 Turbo モデルとは異なり、外部ライブラリにアクセスして利用できることです。この拡張された機能により、AutoCoder はより幅広いタスクやアプリケーションに対応できます。さらに、AutoCoder モデルは、デフォルトですべての生成されたコードを実行するのではなく、ユーザーの要求に応じてコードインタープリターを選択的に呼び出すように設計されています。

トレーニングデータに関しては、AutoCoder は他のコーディング重視モデルと比べて、はるかに大きなデータセットを持っています。AutoCoder のデータセットには、169,000 件のデータサンプル、241 ラウンドの対話が含まれており、メイン関数、パッケージインストール、コード実行エラー、修正などが含まれています。この包括的なデータセットにより、モデルはコード生成と解釈の能力をより効果的に学習し、向上させることができます。

LLaMA 400B や GPT-4 Omni Ultra for Gemini などの他の最先端モデルと比較した結果、AutoCoder はこれらの大規模な機関言語モデルに対抗し、場合によっては凌駕することができることが示されました。これは、オープンソースモデルとしての AutoCoder の驚くべき実績であり、コード関連のタスクで活用される可能性を示しています。

全体として、ベンチマーク結果は AutoCoder モデルの優れた機能と、コード生成および解釈の分野で革新的な存在となる可能性を強調しています。オープンソースモデルとしての AutoCoder は、開発者や研究者にとって、その高度な機能を探索し活用する魅力的な機会を提供しています。

GPT-4 Turbo や GPT-4 Omni を凌駕する Human Eval ベンチマークの性能を発揮した新しい大規模言語モデル AutoCoder の登場は、コード解釈および生成分野における重要な進展です。この DeepSE coder アーキテクチャに基づくオープンソースモデルは、前身モデルよりも柔軟で高性能なコードインタープリターを提供しています。

AutoCoder の主な特徴の1つは、外部パッケージを自動的にインストールできる機能です。これにより、組み込みパッケージのみに制限されていた GPT-4 Turbo の限界を大幅に超えることができます。ユーザーの要求に応じてコードインタープリターを選択的に使用するのも、AutoCoder の注目すべき側面です。

モデルのトレーニングデータには、多回線対話データセットと、エージェントの対話と外部コード実行の検証を組み合わせたシステムが含まれており、その優れたパフォーマンスに貢献しています。LLaMA 3 400B や GPT-4 Omni Ultra などの他の最先端モデルとの比較は、AutoCoder の優位性をさらに強調しています。

全体として、AutoCoder の登場は、コード関連のタスクに対する大規模言語モデルの発展において重要な一歩を示しています。そのオープンソース性と強化された機能により、開発者や研究者にとって魅力的なツールとなっており、今後の進化と分野への影響が期待されます。