Metaは、GPT-4に似たAIチャットボットアシスタントのLlama3モデルをリリースしました。初期の結果は非常に印象的で、Llama3は様々なベンチマークで良好な成績を収めています。Llama3の70億パラメーターバージョンは強力なデスクトップマシンで実行でき、HumanEvalコーディングタスクベンチマークで82%を達成しており、これは最新の専有システムのパフォーマンスに近いものです。

Llama3はGPQA科学テストでも良好な成績を収め、40%近くのスコアを記録しており、これは非常に印象的です。ただし、数学重視のタスクでのパフォーマンスは強くなく、50%のスコアにとどまっています。これはOpenAIのGPT-4が同様の数学問題で70%以上を達成しているのと比べると低い結果です。

さらに、Metaは40億パラメーター前後の更に大規模なモデルの開発に取り組んでおり、様々なテストで70億パラメーターバージョンよりも大幅な改善が期待されています。この大規模なモデルは現在開発中ですが、今年末までにリリースされる予定です。

Llama3の印象的なパフォーマンスは特に注目に値するのは、これがオープンソースのモデルで誰でも無料で使えるからです。これは、GPT-4のような専有システムが自由にアクセスできないのとは対照的です。Llama3がGPT-4の初期バージョンと一部の側面で匹敵することは、オープンソースAIモデルの進歩を示す証左です。

AIモデルのパフォーマンスを評価する際、ベンチマークの選択が重要です。理想的なベンチマークは、モデルを十分に差別化できるほど難しいながらも、モデルが良好な成績を収められるほど難しくないバランスを取る必要があります。

成功率が10%以下のテストは一般的に良いテストとは見なされません。統計的に有意な結論を導き出すのが難しくなるためです。一方で、成功率が80-85%以上のテストも意味を失う可能性があります。答えがリークされていたり、モデルが単に正解を複製できてしまう可能性があるためです。

GPQAテストは、有機化学、分子生物学、物理学など、さまざまな科学分野をカバーする良いベンチマークの例として挙げられています。このテストで40%近くのスコアを収めるのは非常に印象的とされています。

AIモデルの実用的なパフォーマンスを評価する際は、Arenaリーダーボードがより関連性の高い評価を提供します。このテストでは、アカデミックや技術的な課題ではなく、一般の人が通常行うタスクでのモデルの能力を測定しています。

キーとなる洞察は、ベンチマークの難易度のバランスを見つけることが重要であり、Llama3のようなオープンソースモデルが今や専有システムのGPT-4に匹敵するか、あるいはそれを上回るパフォーマンスを発揮していることです。

Meta社のオープンソースAIチャットボットLlama3は、様々なベンチマークで優れたパフォーマンスを示し、GPT-4のような専有システムに匹敵しています。70億パラメーターのバージョンがパワフルなデスクトップマシンで使用できる中、Llama3はHumanEvalコーディングタスクで82%、そして難易度の高いGPQA科学テストで40%を達成しています。数学パフォーマンスは50%と、GPT-4の70%に及ばないものの、今後リリース予定の400億パラメーターモデルではさらに改善が期待されています。

同様に印象的なのが、Google DeepMindのGemini 1.5 Proです。Arenaリーダーボードでは強力なパフォーマンスを示し、GPT-4の初期バージョンを一部の側面で上回っています。Gemini 1.5 Proの長編映画やコードベースから学習する能力が際立っており、全体順位で2位、長いプロンプトでは1位を獲得しています。

これらの強力なAIアシスタントの登場、オープンソースと専有の両方が、この分野の大きな進歩を示しています。ユーザーはLlama3やGemini 1.5 Proを無料で試すことができ、これらの最先端モデルの機能を直接体験することができます。

Llama3とGemini 1.5 Proのこれらのアシスタントを無料で試すことができます:

1. Llama3:

   • 著者の知る限り、ヨーロッパ以外の地域であれば、Meta社のウェブサイトでLlama3を試すことができます。
   • また、Llama3モデルをダウンロードして任意の場所で実行することもできます。
   • Llama3をホストしているウェブサイトもあり、それらのプラットフォームから試すことができます。リンクはビデオの説明に記載されています。

2. Gemini 1.5 Pro:

   • Google DeepMindが開発したGemini 1.5 Proも、EUを除く地域で無料で試すことができます。
   • Gemini 1.5 Proにアクセスするためのリンクはビデオの説明に記載されています。

著者は、Llama3とGemini 1.5 Proの両方が有料の専有システムとほぼ同等の性能を持っているにもかかわらず、無料で使えることを強調しています。