Metabot、GitHubネイティブの最先端コーディングエージェントは、ソフトウェアエンジニアリングベンチマークで驚くべき38%のスコアを達成し、前の最先端の33%を上回りました。この画期的な成果は、構造化されたワークフローの問題に取り組むMetabotの新しい認知アーキテクチャによって実現されました。

このアーキテクチャには以下のような多段階のプロセスが含まれています:

1. コンテキストの収集
2. 計画と編集
3. 計画を個別の編集に分解する
4. 編集の適用
5. 計画のテストと確認
6. 必要に応じてさらにコンテキストを収集する
7. 最終的な解決策を提出する

この反復的で構造化されたアプローチにより、Metabotは、アリババのFactory AIやIBM Researchなどの業界リーダーを凌駕することができました。AI駆動のコーディングエージェントの急速な進歩は、数週間ごとに改善が見られるAI開発の加速ペースの証左です。

この進歩の意味は大きく、今後数年間でソフトウェア開発の改善率が指数関数的に高まる可能性を示唆しています。AI モデルが進化し続けるにつれ、AI支援コーディングがソフトウェアエンジニアリング業界を革新する可能性がますます明らかになってきています。

Googleは最近、Gemini 2という2つの新しい言語モデルを発表しました。それぞれ270億パラメーターと90億パラメーターを持っています。これらのモデルは、LLaMA 3(700億パラメーター)、Chinchilla(700億パラメーター)、ChatGPTなどの大規模モデルを、主観的な評価で上回ることができました。

270億パラメーターのGemini 2モデルは、インプレッシブな性能を示しており、これらの大規模モデルをチャットボットの分野で凌駕しています。客観的なベンチマークでは上回れないかもしれませんが、このサイズのモデルとやり取りしていることに利用者が気づかないことは非常に注目に値します。

さらに、Googleは言語モデルの大幅な進歩を遂げており、Gemini 1.5 Proでは文脈ウィンドウの長さを200万トークンまで拡大しています。これは従来のモデルに比べて大幅な改善であり、この分野でGoogleが他の主要AIラボを先行していることを示しています。

Gemini 2モデルのオープンソース化、優れたパフォーマンス、効率性は、自然言語処理分野における有望な進展です。Googleが新しいモデルをリリースし続け、ブレークスルーを達成していくにつれ、今後さらに印象的な進歩が期待できます。

AIの景観は急速に進化しており、この技術の未来を形づくる重要なブレークスルーや予測がいくつか存在します。以下がその主な動向です:

1. Metabot: 画期的なコーディングエージェント

   • Metabot、GitHubネイティブの最先端コーディングエージェントは、ソフトウェアエンジニアリングベンチマークで驚くべき38%のスコアを達成し、前の最先端の33%を上回りました。
   • この成果は、アリババ、Factory、IBM Researchなどの業界リーダーを凌駕するAI駆動のソフトウェア開発の印象的な進歩を示しています。
   • コンテキストの収集、計画、編集、テストなどを含むMetabotの認知アーキテクチャは、複雑なコーディングの課題を解決するのに非常に効果的であることが証明されました。

2. Google のGemini 2: 大規模モデルを凌駕

   • Googleは270億パラメーターと90億パラメーターのGemini 2モデルを発表し、チャットボットの分野で優れたパフォーマンスを示しました。
   • これらのGemini 2モデルは、LLaMA 3(700億パラメーター)、Cohere(720億パラメーター)、ChatGPTなどの大規模モデルを凌駕しており、効率的で高性能なAIシステムの可能性を示しています。
   • Gemini 2のオープンソース化と幅広いフレームワーク互換性は、開発者や研究者にとって魅力的な選択肢となっています。

3. 文脈長の拡大: 境界の押し上げ

   • Googleは200万トークンの文脈ウィンドウを持つGemini 1.5 Proを発表し、言語モデルの入力容量を大幅に拡大しました。
   • この進展は、45分の動画入力(おそらく100万トークン程度)を処理できるGPT-4の能力実証と一致しています。
   • 文脈長の増加に向けた取り組みは、より長く複雑な入力を扱うAIモデルの機能を高める継続的な努力を示しています。

4. Anthropicの予測: 10億ドルの学習ラン

   • AnthropicのCEO Dario Amodeiは、2027年までにAIモデルの学習コストが最大100億ドルに達し、ほとんどの課題で人間の能力を超えると予測しています。
   • この驚くべき費用予測は、AI開発の境界を押し上げるために必要な膨大な投資を示しています。次の学習ランには10億ドルもの費用がかかる可能性があります。
   • これらの高コストの学習ランの意味するところは、AI技術の継続的な進歩を推進するには、膨大な資金と資源が必要であるということです。

5. 科学的発見の加速

   • Amodeiはまた、AIモデルが生物学や創薬などの分野で、ノーベル賞受賞者や専門家レベルの科学的発見を加速できる可能性があると述べています。
   • AIシステムが、ノーベル賞受賞者や特定分野の第一人者と同等のレベルで機能できるようになれば、画期的な発見が爆発的に増加する可能性があります。
   • このビジョンは、AlphaFoldのような取り組みで見られた、タンパク質構造予測の加速化と一致しています。

AIの景観が継続的に進化する中で、これらのマイルストーンと予測は、ソフトウェア開発から科学研究まで、さまざまな分野にわたるこの技術の変革的な可能性を強調しています。

AnthropicのCEO Dario Amodeiは、AIの未来について非常に興味深い予測を行っています。彼は2027年までに、AIモデルの学習コストが最大100億ドルに達し、ほとんどの課題で人間を上回るようになると考えています。これは、10億ドルもの費用がかかる可能性のある次の学習ランが、AIの達成可能な領域を大幅に押し上げることを示唆しています。

Amodeiは、AIがさまざまな科学的発見や疾病の治療を加速させる分野で大きな影響を及ぼすと信じています。彼は、ノーベル賞受賞者や製薬会社の研究部門トップと同程度の知識と創造性を持つ専門化されたAIモデルを構想しています。これらのモデルは、人間の研究者では不可能な方法で実験や探索を行うことができ、生物学や創薬の分野での画期的な発見につながる可能性があります。

すでに、GoogleのAlphaFoldなどのAIモデルが、タンパク質構造の発見を大幅に加速させた例があります。Amodeiは、「その分野のすべての科学者が発明したものと同じくらい知識があり創造的な AIシステムを100万個持っていれば」、科学的発見のペースが爆発的に増加し、長年にわたる疾病さえも解決または治療できるようになると考えています。

これは未だ未来的で困難な目標のように思えますが、AIモデルの基本的な機能から判断すると、そのような進歩は可能だと考えられます。スケール、アルゴリズム、ハードウェアが継続的に改善されていけば、科学研究と医療の革新を推進するAIの可能性がますます現実味を帯びてくるでしょう。

OpenAIは、特にChatGPTの精度とアラインメントを改善するために、「批評者」モデルの開発に取り組んでいます。主なポイントは以下の通りです:

• OpenAIはGPT-4をベースにした「Critic GPT」というモデルを訓練し、ChatGPTの出力の間違いを特定することができるようにしました。
• Critic GPTを使ってChatGPTの回答をレビューすると、そうでない人に比べて60%の確率で誤りを発見できます。
• OpenAIは現在、Critic GPTのようなモデルをRLHF(人間フィードバック付き強化学習)パイプラインに統合する作業を進めています。
• これは「再帰的自己改善」の一例で、AIモデルを使ってほかのAIモデルを評価・改善しようとするものです。
• AIモデルが高度化するにつれ、人間の訓練者がその微妙な間違いを見つけ出すのが困難になってきています。批評者モデルはこの課題に対処できます。
• ただし、ある時点でAIモデルが個々の人間のフィードバックよりも賢くなってしまうため、人間を介在させるアプローチにも根本的な限界があります。
• これは、AIシステムが直接の人間監視なしに完全な再帰的自己改善に移行できるタイミングや方法について、疑問を呼び起こします。