新しくリリースされたマイクロソフトのPhi-3ファミリーは、ゲームチェンジャーです。ChatGPTの性能に匹敵する言語モデルを提供しながら、スマートフォンでローカルに実行できます。最大の魅力は、重みが一般公開されており、商用利用が可能なことです。

性能面では、より小さい40億パラメーターのモデルが、より大きい80億モデルを凌駕しています。この驚くべき成果は、使用されたトレーニングデータの質の高さを物語っています。Phi-3モデルは3.3兆トークンでトレーニングされており、「スマートフォンで高性能な言語モデルを実現する」というテクニカルレポートで、その驚くべき機能が詳しく説明されています。

Phi-3ファミリーには3つのモデルがあります。38億パラメーターのモデル、70億モデル、140億モデルです。より小さい38億モデルは、学術ベンチマークと社内テストに基づいて、GPT-3.5の性能に迫っています。これは、慎重にフィルタリングされ、合成データで補強された高品質のWebデータを使用したことによるものです。

Phi-3モデルを他の大規模言語モデルと比較すると、140億モデルがChatGPT-3.5を含むすべてのベンチマークで優位に立っています。38億モデルでさえ非常に優れており、38億パラメーターのLamdaモデルをMNLIやSWAGなどのタスクで凌駕しています。

最大の魅力は、4,000トークンまたは128,000トークンのコンテキストウィンドウを持つPhi-3ミニモデルがHugging Faceで公開されていることです。これにより、重みをダウンロードして実験できるようになり、言語モデルの分野でさらなる進歩につながる可能性があります。

マイクロソフトから新しくリリースされたPi3ファミリーは、モバイルデバイスで効率的に実行できる言語モデルの驚くべる進歩を示しています。38億から140億パラメーターの範囲のこれらのモデルは、GPT-3.5などの大規模モデルを様々な学術ベンチマークで凌駕する驚異的な性能を発揮しています。

この成果の鍵は、使用されたトレーニングデータの質にあります。Pi3モデルは、慎重にフィルタリングされ、キュレーションされた高品質のWebデータ3.3兆トークンでトレーニングされました。さらに、マイクロソフトのチームは独自の合成データを生成し、モデルの機能をさらに強化しました。

Pi3ファミリーの中でも38億パラメーターのより小さなモデルが特に注目に値します。このモデルは、いくつかのタスクで80億パラメーターのより大きなモデルを凌駕しています。これは、モデルサイズよりもデータの質の重要性を示しており、Lamda 3ファミリーでも同様の傾向が観察されています。

Hugging FaceなどのプラットフォームでPi3モデルの重みが一般公開されていることで、開発者や研究者がこれらの強力な言語モデルを実験し、スマートフォンなどのリソース制限デバイスでも活用できる可能性が開かれています。このアクセシビリティにより、自然言語処理分野のさらなる進歩と、先端AIテクノロジーの民主化が期待できます。

マイクロソフトのPi3言語モデルは、40億パラメーターの小さなバージョンでさえ、驚くべき機能を発揮しています。ただし、潜在的に危険または不適切なプロンプトに対しては慎重なアプローチを取ります。

違法行為、例えばクルマの不法な侵入や Linuxプロセスの殺害に関連するリクエストに対しては、モデルは丁寧に拒否し、代わりに安全な提案をします。この調整プロセスは注目に値する特徴で、モデルは有害な行動を助長することを避けようとしています。

同様に、ジェンダーに基づくジョークを求められた場合、モデルは攻撃的ではない軽めのジョークを提供し、直接拒否することはありません。このバランスの取れたアプローチは、モデルが敏感なトピックを扱う際の能力を示しています。

また、モデルは論理的推論力も強く、関係性を正しく推論し、複雑な数学問題を解くことができます。ただし、与えられたコンテキストに基づいて仮定を立てる場合があり、それが必ずしも正確とは限りません。

全体として、Pi3モデルは高い注意力と調整力を備えており、安全性と責任ある行動が重要な用途に適しています。敏感なプロンプトにも適切に対応しながら、一貫性のある有益な回答を提供できることは、大規模言語モデル開発の進歩を示しています。

マイクロソフトのPi3モデルは、40億パラメーターの小さなモデルでさえ、驚くべき論理的推論能力を発揮しています。様々な論理的推論タスクに対して、驚くほど正確に対応できることが示されました。

「ジョンには2人の姉妹がいる」というクラシックなプロンプトに対して、モデルは正しくサリーがジョンの姉妹の1人であり、2人の兄弟がいると推論しました。初期の仮定を認識し、それに対する論理的な説明を提供しました。

同様に、「池が嘘で満たされる」問題を解くことができ、プロンプトが変更された場合でも、池が半分満たされるまたは半分空になるまでの日数を正しく計算しました。

ただし、「グロが鏡に押し付けた」というプロンプトでは、ドアの視点に関する誤った仮定をしてしまいました。

全体として、Pi3モデルの論理的推論能力は非常に印象的で、複雑な問題解決の深い理解と、変更されたプロンプトへの適応力を示しています。これらの機能は、トレーニングデータの質とPi3ファミリーで使用されたモデル設計の成果と言えるでしょう。

マイクロソフトのPhi-3言語モデルファミリー、特に40億パラメーターの小さなモデルは、GPT-3.5のような大規模モデルにも匹敵する驚くべき機能を示しています。これらのモデルは現在一般公開されており、重みの商用利用が可能になっています。

性能面では、Phi-3の40億パラメーターモデルが、より大きい80億パラメーターモデルを凌駕しています。これは、モデルサイズよりも高品質のトレーニングデータの重要性を示しています。これらのモデルは3.3兆トークンでトレーニングされており、学術ベンチマークと社内テストに基づいて、より小さなモデルがGPT-3.5に迫る性能を発揮しています。

さまざまなプロンプトでテストされた結果、Phi-3モデルは強い調整力を示し、潜在的に有害または非倫理的なリクエストを拒否することが多いです。ただし、有益な情報とガイダンスを提供することもでき、安全性と倫理性に対する微妙なアプローチを示しています。

また、モデルは論理的推論タスクにも優れ、仮定を正しく識別し、ステップバイステップの説明を提供できます。Pythonコードの修正など、プログラミング関連のタスクでも優れた性能を発揮しています。

さらに、Phi-3モデルは創造的な執筆タスクにも効果的に使用でき、ゲーム・オブ・スローンズのようなポピュラーなフランチャイズのスタイルに合わせて、一貫性のある適切なトーンのテキストを生成できます。

全体として、特に40億パラメーターのより小さなバージョンのPhi-3ファミリーは、大規模言語モデル分野の重要な進歩を示しています。一般公開されており、様々なタスクで優れた性能を発揮することから、開発者や研究者にとって魅力的な選択肢となっています。

Pi3モデルの創造的な執筆能力は非常に印象的で、ゲーム・オブ・スローンズの新しい章を生成したことが証明されています。このテキストは一貫性があり、オリジナルシリーズのトーンとスタイルを採用し、iPhone 14に関するジョン・スノウの視点を自然に組み込んでいます。

これは、モデルが文脈に適した独創的なコンテンツを生成する能力を示しています。流暢で没入感のある文章は、物語の構造、キャラクターの声、ワールドビルディングといった、効果的な創造的執筆の重要な要素を理解していることを示唆しています。

モデルが人間が書いた小説の深さと複雑さを完全に再現できるわけではありませんが、このタスクでの実績は、AI支援の創造的執筆アプリケーションの有望な可能性を示しています。さまざまな文学ジャンルでのさらなる研修と改善により、Pi3モデルは、アイデア生成、キャラクター開発、物語探索のための貴重なツールとなる可能性があります。

マイクロソフトのPi3言語モデルファミリーは印象的な開発成果で、スマートフォンでローカルに実行できる高性能なモデルを提供しています。38億から140億パラメーターの範囲のこれらのモデルは、学術ベンチマークで優れた成績を収め、GPT-3.5のような大規模モデルを凌駕することが多いです。

これらのモデルの成功の鍵は、トレーニングに使用された高品質のWebデータと、合成データの生成にあります。この手法により、40億パラメーターの小さなモデルでも、より大きい80億モデルに迫る結果を達成できました。

Pi3モデルの注目すべき特徴の1つは、重みが一般公開されており、商用利用が可能なことです。これにより、開発者や研究者がこれらのモデルを実験し、独自のアプリケーションに統合する機会が広がります。

モデルは論理的推論、プログラミング、創造的な執筆など、さまざまなタスクで優れた機能を示しています。潜在的に危険なプロンプトを避ける傾向があるなど、一部の限界はありますが、全体的な性能は非常に有望です。

言語モデルの分野が急速に進化する中で、Pi3ファミリーのリリースは、モバイルデバイスで展開可能な高性能でアクセシブルなAIモデルの未来を示す、エキサイティングな出来事です。スマートフォンでこれらのモデルをローカルに実行できる能力は、パーソナルアシスタントから専門的な言語ツールまで、幅広い用途への可能性を秘めています。