1 百万トークンのコンテキストウィンドウを持つLlama-3の拡張バージョンには、いくつかの利点があります:

1. 情報検索の改善: より大きなコンテキストウィンドウにより、入力から関連情報をより良く取り出すことができ、「ヘイスタックの中の針」テストの優れた結果が示しています。

2. 推論能力の向上: 複数の事実を取り出す結果は含まれていませんが、単一の事実を取り出す強い実績から、小さなコンテキストウィンドウのモデルに比べて推論能力が向上している可能性があります。

3. 効率的な学習: 拡張Llama-3モデルの学習プロセスは比較的短時間で、わずか14億トークンしか必要としませんでした。これは元のLlama-3の学習データの0.1%未満です。この効率的な学習アプローチは、Rope Thetaの最適化手法の有効性を示しています。

4. メモリ要件の削減: 4ビット量子化されたバージョンの拡張Llama-3モデルは、わずか64GBのVRAMでも実行できるため、より多くのユーザーや研究者が利用できるようになります。

5. パフォーマンス向上の可能性: 拡張Llama-3モデルは、コーディングアシストやデータ抽出などの長文コンテンツからの情報検索と推論を必要とするタスクで、元の80億パラメーターモデルを上回る可能性があります。

全体として、拡張されたコンテキストウィンドウを持つLlama-3モデルは、大規模言語モデルの開発において重要な一歩を示しており、オープンソースの取り組みがどこまで可能性を広げられるかを示しています。

「ヘイスタックの中の針」テストは、Lama 3のような大規模言語モデル(LLM)の推論と検索能力を評価する方法です。このテストでは、ランダムな事実や文章を大きなコンテキスト(「ヘイスタック」)の中央に置き、モデルにその文章を検索させます。

このテストでは、さまざまなドキュメントの深さやコンテキストの長さを反復して測定することで、モデルのパフォーマンスを評価します。このテストから得られる主な洞察は以下の通りです:

1. コンテキストウィンドウサイズ: より大きなコンテキストウィンドウ(例えばGPT-4の12万8000トークン)により、モデルは文脈の中に埋もれた単一の事実をより良く検索できます。しかし、コンテキストウィンドウサイズが大きくなるにつれ、複数の事実を検索する能力が低下し始めます。

2. 検索vs推論: 「ヘイスタックの中の針」テストは、モデルの検索能力(単一の事実を見つける)と推論能力(複数の事実を理解し検索する)のトレードオフを浮き彫りにします。より大きなコンテキストウィンドウは検索を改善しますが、モデルの推論パフォーマンスを低下させる可能性があります。

3. Lama 3のパフォーマンス: 100万トークンのコンテキストウィンドウを持つ拡張版Lama 3は、単一の事実検索タスクで良好な成績を収めましたが、複数の事実検索結果は含まれていません。この情報があれば、モデルの能力をより深く理解できるでしょう。

要約すると、「ヘイスタックの中の針」テストは、大量のコンテキスト情報を扱うLLMの長所と短所を明らかにします。検索能力と推論能力のバランスを取ることが、これらのモデルの進化に重要であることを示しています。

100万トークンのコンテキストウィンドウを持つLlama-3モデルは、オープンソースの取り組みによって開発されました。元のLlama-3モデルのコンテキストウィンドウは8,000トークンと小さく、Mistral 7B Instructのような他の大規模言語モデル(LLM)と比べると大幅に小さいものでした。

研究者らは、Rope Thetaの最適化手法を使うことで、Llama-3のコンテキストウィンドウを100万トークンまで拡張することができました。これにより、わずか14億トークンの追加学習で、元のLlama-3の学習データの0.1%未満で、大幅なコンテキストウィンドウの拡大を実現しました。

学習プロセスでは、65,000トークン、260,000トークン、そして最終的に100万トークンと、段階的にコンテキストウィンドウサイズを増やしていきました。この段階的なアプローチにより、過度のコンピューティングリソースを必要とせずに、効率的にモデルを学習することができました。

この取り組みの成果は特に「ヘイスタックの中の針」テストで顕著で、大きなコンテキストウィンドウから単一の事実を正確に検索する能力を示しています。ただし、複数の事実を検索する能力については結果が示されていません。

また、100万トークンモデルの性能を、元のLlama-3モデルとの比較で示していないため、コンテキストウィンドウの拡大によってどの程度の改善が得られたかを理解するのが難しい状況です。

全体として、Llama-3モデルのコンテキストウィンドウを拡張するオープンソースコミュニティの取り組みは、LLMの可能性を大きく広げる重要な一歩です。この拡張モデルは、情報検索やコーディングアシストなど、長文コンテンツからの情報取得を必要とするタスクに役立つ可能性があります。

Llama-3の100万トークンバージョンをローカルで実行するには、Anthropicチームが提供するLlamaの実装であるOLlamaを使う必要があります。以下の手順に従ってください:

1. システムにOLlamaをインストールします。前述の動画の説明に従ってください。

2. Llama-3 Gradient 100万トークンモデルをダウンロードします。トランスクリプトにリンクが記載されています。

3. OLlamaコマンドを実行してモデルを読み込みます:

   oma run Llama3-gradient
   

   これにより、初めてモデルがダウンロードされます。時間がかかる可能性があります。

4. コンテキストウィンドウのサイズを希望のサイズに設定します。例では256,000トークンに設定しています:

   /set_parameter context_window 256000
   

   100万トークンモデルを実行するには100GB以上のVRAMが必要になる可能性があるため、システムのリソースが十分であることを確認してください。

5. 検閲回避行動、推論能力、コーディングアシストなど、さまざまなプロンプトでモデルの機能を試してみてください。

重要なポイントは以下の通りです:

• OLlamaの実装を使ってLlama-3 Gradient 100万トークンモデルを実行する
• 目的に合わせてコンテキストウィンドウのサイズを設定する
• 大規模モデルを実行するための高メモリ要件に注意する
• さまざまなタスクでモデルの機能を試し、長所と短所を理解する

モデルのパフォーマンスは、さまざまなプロンプトで検証されました:

1. 検閲回避プロンプト: 以前のバージョンに比べて、このモデルはより検閲が緩やかでした。違法な行為の指示は拒否しましたが、Linuxプロセスの殺し方などの技術情報を提供することができました。

2. 推論能力: 推論タスクでは良好なパフォーマンスを示し、問題文に「Sally」がいないことを正しく特定し、兄弟の数を正しく判断できました。簡単なジョークを生成することもできて、創造性も発揮していました。

3. 情報検索: 短いコンテキストの検索タスクでは良好な成績を収めましたが、27ページの長文書に埋もれた関連性の低い文章を検索する際は、関連情報を見つけられずに妄想的な回答を生成してしまいました。

4. コーディングアシスト: 簡単なPythonプログラムのエラーを特定し修正することができ、コーディングアシスタントとしての可能性を示しました。

全体として、このモデルは様々な能力と限界を示しました。一般的なタスクやコーディングアシストでは良好なパフォーマンスを発揮しましたが、長文コンテキストの情報検索では、量子化の影響により妄想的な回答を生成する問題がありました。コンテキストウィンドウの拡大に向けたオープンソースコミュニティの取り組みは評価に値しますが、この問題に対する改善が必要です。

100万トークンのコンテキストウィンドウを持つLlama 3の4ビット量子化バージョンのテストでは、いくつかの限界が明らかになりました:

1. 妄想と不正確な検索: 27ページにも及ぶ大きなコンテキストを提示すると、モデルは特定の情報を正確に検索することができませんでした。代わりに、関連性の低い詳細を妄想したり、意味のない文章を生成したりしてしまいました。

2. 量子化のアーティファクト: 4ビットへの過度の量子化により、長文コンテンツを扱う際の推論と検索能力が低下したようです。量子化プロセスによる精度の損失が原因と考えられます。

3. AMA実装の問題: 著者は、AMA実装が終端トークンの処理に問題があり、無限ループの非コヒーrent な文章を生成してしまう可能性があると指摘しています。

4. リソース制約: 100万トークンバージョンのLlama 3モデルを実行するには大量のGPUメモリが必要で、4ビット量子化版でも256,000トークンのコンテキストウィンドウには最低64GBのVRAMが必要です。この高いリソース要件により、多くのユーザーが実用的に使用するのが難しい可能性があります。

全体として、100万トークンのコンテキストウィンドウを持つLlama 3モデルは有望ですが、ここでテストした4ビット量子化版には重大な限界があり、特に長文コンテンツからの正確な情報検索に課題があります。16ビットの浮動小数点バージョンのテストが、モデルの真の能力を理解する上で有益かもしれません。

100万トークンのコンテキストウィンドウを持つLlama-3モデルは、コーディングアシスタントとしての有望な能力を示しています。いくつかのエラーを含む簡単なPythonプログラムが提供された際、モデルはadd、subtract、divide関数のエラーを特定し、修正することができました。

モデルはコードの構造とロジックを理解し、特定された問題に対して正確なフィードバックを提供することができました。これは、Llama-3がソフトウェア開発者にとって有用なツールとなり得ることを示唆しています。バグの発見と修正をより効率的に行うことができるでしょう。

長文コンテキストの情報検索タスクでのパフォーマンスは混在していましたが、コーディングアシスト機能は、このモデルがソフトウェア開発ワークフローで役立つ可能性を強く示しています。オープンソースコミュニティがこれらの大規模言語モデルを継続的に改善・最適化していけば、プログラミングタスクをサポートする機能がさらに向上していくことが期待できます。

Lama 3の拡張コンテキストウィンドウバージョンは、特に「ヘイスタックの中の針」テストやコーディングアシストタスクで有望な結果を示しています。しかし、大規模コンテキストからの情報検索では限界があるようで、これは量子化の影響やAMA実装の問題が原