本日早朝のLLAMA-3の発売は、多くの企業がこの強力な言語モデルをそのプラットフォームに統合することで、大きな期待を呼び起こしています。注目を集めているのが、現在市場で最速のインファレンス速度を誇るGroq Cloudです。

Groq Cloudは、プレイグラウンドとAPIの両方にLLAMA-3を seamlessly 統合しており、70億パラメータと80億パラメータのモデルにアクセスできます。これらのモデルの使い始め方を、プレイグラウンドとアプリケーション構築の両面から見ていきましょう。

プレイグラウンドでは、LLAMA-3モデルを選択し、様々なプロンプトでテストできます。インファレンス速度は本当に驚くべきもので、70億パラメータモデルは1秒間に約300トークンを生成し、80億パラメータモデルは800トークン/秒に達します。500語のエッセイのような長文を生成する際も、この高速さは維持されており、これらのモデルの驚くべき性能を示しています。

アプリケーションにLLAMA-3を統合するには、Groqの簡単なAPIを使用します。Pythonクライアントをインストールし、APIキーを取得すれば、Groqクライアントを簡単に作成し、インファレンスを開始できます。このAPIはユーザープロンプトとシステムメッセージの両方をサポートし、モデルの応答をファインチューニングできます。また、温度やmax tokensなどのパラメータを調整して、生成されるテキストの創造性と長さを制御することもできます。

GroqのAPIの際立った機能の1つが、ストリーミングをサポートしていることです。これにより、完全な応答が生成されるまで待つ必要がなく、リアルタイムのテキスト生成を実現できます。

GroqのプレイグラウンドとAPIは現在無料で利用できますが、生成されるトークンの数に制限があるため、Groqが将来有料版を導入する可能性があることに注意が必要です。

今後の展開として、GroqがWhisperの統合に取り組んでいるという情報もあり、新しいアプリケーション領域が開かれる可能性があります。LLAMA-3とGroqの最新情報に注目していきましょう。