Gemma 2、Google最新のオープンソース言語モデルは、強力なパフォーマンスに寄与する幾つかの建築上の革新を紹介しています。このモデルは、従来のエンコーダ-デコーダ設定と比較して、モデル設計を簡素化したデコーダのみのTransformerアーキテクチャを使用しています。

主要な革新の1つは、256,000トークンという大規模な語彙サイズの使用です。これにより、主に英語データで事前学習されているにもかかわらず、幅広い多言語タスクに対応することができます。この大規模な語彙サイズにより、モデルは豊富な語彙理解を得ることができ、多様な言語ドメインにわたって良好なパフォーマンスを発揮することができます。

さらに、Gemma 2アーキテクチャは、標準的なTransformerデザインに対していくつかの変更を組み込んでいます。これには、注意メカニズム、レイヤーノーマライゼーション、残差接続の調整が含まれ、モデルの効率性と有効性の向上を目指しています。技術レポートでは、これらの建築上の選択とモデルのパフォーマンスへの影響について詳細な洞察が提供されています。

さらに、Gemma 2は知識蒸留アプローチを活用して、90億パラメータと270億パラメータのバージョンなど、より小さなモデルバリアントを訓練しています。より大きな教師モデルから知識を蒸留することで、より小さな学生モデルは、大規模なデータセットと計算リソースを必要とせずに、優れた結果を達成することができます。この手法は、効率的に高性能な言語モデルを訓練する可能性を示しています。

全体として、Gemma 2の建築上の革新は、様々なベンチマークでの最先端のパフォーマンスに貢献しており、幅広い自然言語処理タスクに適した魅力的な選択肢となっています。