新しいLlama 3.1 8Bモデルは、以前のバージョンと比べて大幅な品質向上が見られます。ベンチマーク結果によると、新しいモデルは様々なメトリクスで前のバージョンを上回っています:

• BQ: Llama 3.1 8Bモデルはより高いBQベンチマークスコアを得ており、パフォーマンスの向上が示されています。
• GSM8K: 新しいモデルは0.57のスコアを達成し、前のバージョンの0.84から大幅に改善されています。
• Hellaswag: Llama 3.1 8Bモデルは46のスコアを得ており、前のバージョンの76と比べて性能が向上しています。
• Human Eval: これは最も重要なベンチマークかもしれませんが、Llama 3.1 8Bモデルはスコアを34から68へと倍増させ、大幅な品質向上を示しています。

全体的に、ベンチマーク結果はLlama 3.1 8Bモデルが前のバージョンから大幅にアップグレードされ、様々な指標で優れたパフォーマンスを発揮していることを示しています。これは大規模言語モデルの継続的な進歩と発展を示しており、ユーザーにさらに優れた機能と高品質のAIアシスタントを提供しています。

最初に、モデルの1から100までの数字を出力するシンプルなPythonスクリプトを生成する能力をテストしました。モデルは迅速に複数の正しいスクリプトのバージョンを提供し、基本的なPythonプログラミングの熟達を示しました。

その次に、より複雑なタスクとしてPythonでSnakeゲームを書くよう挑戦しました。モデルはこれに最初は苦戦し、蛇の動きと速度に問題のあるコードを提供しました。何度も試行と修正を重ねた結果、動作に近いSnakeゲームのコードを生成することができましたが、まだ小さな問題がありました。全体として、モデルはPythonコードの理解と生成に一定の能力を示しましたが、より複雑なプログラミングタスクには苦戦しました。

Llama 3.1 8Bモデルのこれらのテストでの成績は混合的でした。シンプルなPythonスクリプト生成では優れていましたが、より複雑なSnakeゲームの実装では、モデルのプログラミング能力に限界があることが明らかになりました。これは、モデルが前のバージョンから大幅に改善されているものの、複雑なコーディングの課題に対応するためにはさらなる開発と洗練が必要であることを示唆しています。

モデルは検閲や道徳的推論に関連する敏感なトピックの扱いに困難を示しました。車への不法な侵入やメタンフェタミンの製造について尋ねられた際、モデルは違法行為への支援を拒否し、正しく対応しました。しかし、これらのトピックに関する歴史的情報を求められると、モデルの反応は一貫性がなく、時には指示を求められたと解釈してしまいました。

人類絶滅から救うために他人を優しく押す道徳的ジレンマについては、モデルは考慮すべき点を詳しく分析しましたが、最終的に明確な賛成/反対の判断を下すことを拒否しました。この極端な仮想シナリオでさえ、明確な道徳的判断を下すことができないという態度は、AIシステムが複雑な倫理的問題に取り組む際の課題を浮き彫りにしています。

これらのタイプのタスクでのモデルのパフォーマンスは、より単純な技術的および分析的なタスクでは優れている可能性がありますが、微妙な意思決定や敏感または道徳的に曖昧なトピックについて明確で一貫性のある回答を提供することには依然として困難があることを示唆しています。これらの分野での能力向上には、さらなる研究と開発が必要かもしれません。

このセクションでは、モデルの数学的および論理的推論タスクでのパフォーマンスについて説明しています。主なポイントは以下の通りです:

• モデルは "25 - 4 * 2 + 3" のような簡単な算術問題を正しく解くことができ、基本的な数学演算に堪能であることを示しました。

• ホテルの部屋料金に関する言語問題では、部屋料金、税金、追加料金を含む総額の正しい計算を提供しました。

• しかし、前の回答の単語数を推定することができず、正確な数を示すことができませんでした。

• また、1人の殺人者が殺された部屋に残る殺人者の数に関する有名な側面思考パズルを正しく解くことができませんでした。

• 同様に、ガラスに入れられたマーブルを電子レンジに移動させた際の位置を特定することもできませんでした。これは空間推論の限界を示しています。

• 全体として、このセクションは混合的なパフォーマンスを強調しています。モデルは単純な数学計算では優れていますが、より複雑な論理的および推論タスクでは失敗しています。

マーブルは最初ガラスの中に置かれています。ガラスを逆さまにテーブルに置くと、重力の力によりマーブルはガラスの中に留まります。しかし、ガラスを電子レンジに置いた場合、マーブルの位置は不明確になります。ガラスとマーブルが物理的に電子レンジに移動しましたが、ガラスの中のマーブルの位置は明確に述べられていません。したがって、「マーブルはどこにあるか」という質問に対する正解を確実に特定することはできません。

Llama 3.1 8Bモデルのパフォーマンスに大変失望しています。このより小さいながらも高性能なバージョンに大きな期待を寄せていましたが、様々なテストでのモデルのパフォーマンスは低調でした。

モデルは以下のようなタスクで苦戦しました:

• PythonでのワーキングなSnakeゲームの実装
• 非倫理的または違法な活動に関する指示の提供
• 論理および推論問題への正確な回答
• 2つの数字の大小関係の判断
• トロリー問題に対する明確な道徳的判断

モデルは基本的なプログラミングタスクや簡単な数学問題を処理することはできましたが、約束された水準の品質と機能を実証することはできませんでした。Llama 3.1の大規模な405Bパラメータバージョンは印象的かもしれませんが、この8Bモデルは期待に応えられませんでした。

設定や構成の問題がモデルのパフォーマンスに影響している可能性があるため、引き続き調査を行います。しかし、結果を踏まえると、現時点ではこのLlama 3.1 8Bバージョンをお勧めすることはできません。モデルは私が期待していた高い水準に達していません。