Meta AIは最近、これまでで最も優れた大規模言語モデルであるLLAMA 3をリリースしました。これは、オープンソースのモデルがGPT-4のような専有モデルの性能を超えるか匹敵するようになったという重要な節目を示しています。

LLAMA 3には2つのバージョンがあり、8億パラメータモデルと70億パラメータモデルです。これらのモデルは近々、AWS、Google Cloud、Hugging Faceなどのさまざまなプラットフォームで利用可能になり、NVIDIAなどの主要なハードウェア製品でもサポートされる予定です。

LLAMA 3の主な焦点は合理性にあり、LL Guard 2やCode Shieldなどの新しい信頼性とセーフティのツールが導入されています。また、モデルの機能が拡張され、コンテキストウィンドウが長くなり、パフォーマンスも向上しています。

Meta AIのLLAMA 3は、知性とプロダクティビティを高める有力なAIアシスタントとして位置づけられています。これらのモデルのリリースは、推論能力、コーディング、数学の向上など、最先端のパフォーマンスを示しています。このイニシアチブは、コミュニティの関与とフィードバックに焦点を当てながら、さまざまなAIアプリケーション、ツール、最適化の革新を促進することを目的としています。

LLAMA 3のモデルは、Chinchilla、Megatron、GPT-3.5などの既存のベンチマークを超えるパフォーマンスを示しています。これらのモデルはHugging Faceで利用でき、インストール方法の説明は下記の説明に記載されています。

Meta AIによるLLAMA 3の発売は、大規模言語モデルの分野における重要な進歩を示しています。このオープンソースのモデルは、GPT-4のような専有モデルの性能を超えるか匹敵するようになり、オープンソースAIの急速な進歩を示しています。

LLAMA 3には8億パラメータモデルと70億パラメータモデルの2つのバリアントがあります。これらのモデルは近々、AWS、Google Cloud、Hugging Faceなどのさまざまなプラットフォームで利用可能になり、NVIDIAなどの主要なハードウェア製品でもサポートされる予定です。

LLAMA 3の主な焦点は合理性にあり、LL Guard 2やCode Shieldなどの新しい信頼性とセーフティのツールが導入されています。また、モデルの機能が拡張され、コンテキストウィンドウが長くなり、パフォーマンスも向上しています。

Meta AIのLLAMA 3は、知性とプロダクティビティを高める有力なAIアシスタントとして位置づけられています。この2つの新しいモデルのリリースは、推論能力の向上やコーディング、数学への焦点など、最先端のパフォーマンスを示しています。

このイニシアチブは、コミュニティの関与とフィードバックに重点を置きながら、さまざまなAIアプリケーション、ツール、最適化の革新を促進することを目的としています。LLAMA 3の機能は広範に探索されており、その進歩を強調するためにベンチマークやその他の洞察が共有されています。

Meta AIは、12の主要なユースケースをカバーする1,800のプロンプトで構成される包括的な人間評価セットを開発しました。この徹底的な評価プロセスにより、自社のモデリングチームに対しても、LLAMA 3の能力について公平な評価が行われます。

この人間評価の結果は印象的で、LLAMA 3の8億パラメータモデルが、アドバイス、ブレインストーミング、コーディング、創造的な書き物、推論、要約などの様々なカテゴリーで、Claude、Sonic、Mistol、Medium、GPT-3.5などの既存のベンチマークを上回っています。このモデルの勝率は競合他社を大きく上回っており、その優れたパフォーマンスを示しています。

さらに、LLAMA 3のモデルは、Anthropicのgemini Pro 1.5やCohere 3 Sonicモデルを上回っており、現在利用可能な最先端のオープンソース大規模言語モデルであることを証明しています。この包括的な評価は、LLAMA 3の並外れた能力を強調しており、AIの世界を一変させる存在となっています。

Meta AIは、新しいLLAMA 3のモデルをAWS、Google Cloud、Hugging Faceなどのさまざまなプラットフォームで容易にアクセスできるようにしています。これらのモデルには8億パラメータモデルと70億パラメータモデルの2つのバリアントがあり、ユーザーはニーズに合わせて選択できます。

LLAMA 3を使い始めるには、Hugging Faceで8億パラメータのインストラクションモデルにアクセスできるほか、70億パラメータモデルもアクセス可能です。これらのモデルへのリンクは下記の説明に記載されており、この最先端のオープンソース言語モデルの機能を探索し、テストできます。

Meta AIは、LLAMA 3のモデルと直接対話できる新しい統合コンポーネントも導入しました。このコンポーネントには、ユーザーフレンドリーなインターフェイスがあり、プロンプトを入力してモデルの生成機能を直接体験できます。荷物リストの作成から様々なユースケースの探索まで、この統合ツールを使ってLLAMA 3の力を体験できます。

LLAMA 3のモデルを活用することで、知性の向上、生産性の改善、高度な推論能力など、さまざまなアプリケーションを開拓できます。コーディングと数学への焦点は、開発者や研究者にとって価値のある資産となります。

LLAMA 3のモデルアーキテクチャは、前身のLLAMA 2から大幅に進化しています。主な改善点は以下の通りです:

1. 効率的なトークナイザー: LLAMA 3は128kトークンの語彙を持つトークナイザーを使用し、より効率的な言語エンコーディングと全体的なパフォーマンスの向上を実現しています。

2. グループ化されたクエリアテンション: 推論の効率を高めるため、LLAMA 3は8億パラメータモデルと70億パラメータモデルの両方でグループ化されたクエリアテンションメカニズムを導入しています。これにより、最大8,192トークンのシーケンスを処理しつつ、ドキュメントの境界内でのセルフアテンションを維持できるようになり、LLAMA 2と比べて効率が向上しています。

3. トレーニングデータの拡大: LLAMA 3の事前トレーニングデータセットは、LLAMA 2のオリジナルデータセットの7倍の規模で、150兆トークン以上の公開データから構成されています。これには、コード例が4倍増えており、モデルのコード生成能力と実世界の問題解決力が向上しています。

4. 多言語対応: 多言語のユースケースを見据え、事前トレーニングデータセットには30か国語以上にわたる高品質の非英語データが5%以上含まれています。これらの言語のパフォーマンスは英語ほど高くない可能性がありますが、より広範な言語サポートに向けた重要な一歩です。

5. 厳格なデータフィルタリング: 最高水準のトレーニングデータ品質を確保するため、LLAMA 3の開発では、セマンティックな重複排除手法やテキスト分類器など、厳格なデータフィルタリングパイプラインが採用されています。これにより、前のLLAMAモデルの優れたデータ識別能力が活用されています。

6. 最適なデータブレンディング: 多様なデータソースを最終的なプレトレーニングデータセットに統合する最適な方法を見出すため、広範な実験が行われています。

これらのアーキテクチャの改善と、拡張およびキュレーションされたトレーニングデータを組み合わせることで、LLAMA 3は高効率で汎用的、そして多言語に対応した大規模言語モデルとなり、オープンソースAIの新たな基準を打ち立てています。

Meta AIによるLlama 3の発売は、大規模言語モデルの分野における重要な進歩を示しています。このオープンソースのモデルは、GPT-4のような専有モデルの性能を超えるか匹敵するようになり、その優れた機能を示しています。

Llama 3には、偽の拒否率の低下、推論力の向上、コード生成、命令理解能力の向上など、いくつかの重要な改善点があります。このモデルは、実世界のアプリケーションに焦点を当て、包括的な人間評価を行うことで、さまざまなユースケースに適応できるようになっています。

モデルのアーキテクチャは効率性を重視して最適化されており、より大きな語彙とグループ化されたクエリアテンションメカニズムを備えています。150兆トークン以上の大規模なプレトレーニングデータセットには、コード例が4倍増えており、Llama 3のパフォーマンスをさらに向上させています。

Meta AIのオープンソースの原則とコミュニティ参加への取り組みは評価に値するものです。彼らはAIの革新と協力を促進することを目指しています。近々400億パラメータモデルのリリースが予定されており、さらなる進歩が期待されます。

全体として、Llama 3は大規模言語モデルの開発における重要な節目を示しており、オープンソースAIの新しい基準を打ち立てています。