Meta AIは最近、LLaMA言語モデルの第3世代であるLLaMA 3をリリースしました。この新しいモデルは、パフォーマンスと機能の大幅な向上を提供し、幅広いAIアプリケーションに取り組む開発者や研究者にとって魅力的な選択肢となっています。

LLaMA 3は、それぞれ80億パラメーターと700億パラメーターの2つのプリトレーニングおよび命令チューニングバージョンで利用可能です。このモデルは、LLaMA 2で使用されたデータセットの7倍に当たる15兆トークン以上の印象的なデータセットでトレーニングされています。このデータセットには、コード生成やプログラミング関連のタスクに特に適したコードが4倍含まれています。

Meta AIが提供するベンチマークは、LLaMA 3の驚くべき機能を示しています。80億パラメーターのバージョンは、少数ショット学習、質問応答、数学的推論など、さまざまなタスクでGalactica 7BやMistral 7B Instructモデルを上回っています。より大きな700億パラメーターのモデルも、特にコード生成の分野で、強力なChinchilla 1.5Bモデルに匹敵しています。

LLaMA 3の主な特徴の1つは、マルチステップタスクのサポートの強化と応答整合性の向上です。これは、より優れた機能と信頼性を持つAIエージェントの開発に重点を置いていることを示唆しています。さらに、Meta AIはLLaMA Guardシステムやサイバーセキュリティ評価フレームワークなど、モデルの責任ある開発と利用を促進するための新しいツールとプロセスを導入しています。

全体として、LLaMA 3のリリースは、オープンソースの言語モデルの世界における重要な一歩を表しています。その優れたパフォーマンス、拡張された機能、そして責任ある開発への取り組みから、LLaMA 3は幅広いAIアプリケーションや研究イニシアチブにとって貴重なリソースとなることが期待されます。