コデストラル・マンバは、Mistol AIが発表した新しい大規模言語モデルで、70億パラメータ以上を誇ります。このコーディング重視のモデルは、マンバアーキテクチャに基づいており、商用利用が可能なPatchy 2.0ライセンスの下で提供されています。

コデストラル・マンバの主な特徴の1つは、大規模な256kトークンのコンテキストウィンドウです。これは70億パラメータのMistolモデルよりも大幅に大きく、より大きなコンテキストタスクでの高速な推論を可能にします。

70億パラメータのようなより小さなモデルは大規模モデルのパフォーマンスに追いつけないかもしれませんが、コデストラル・マンバは高速な推論速度と低計算コストを提供します。ヒューマン評価ベンチマークでは、コデストラル・マンバは75%のスコアを獲得し、GPT-4 Omniなどの大規模モデルを上回りました。

Mistol AIはまた、現在最高のオープンソースの数学ベースモデルである70億パラメータのMistolモデルも発表しています。コデストラル・マンバ70億パラメータモデルも、同クラスのモデルの中で最高のスコアの1つを達成しています。

コデストラル・マンバにアクセスするには、Mistolプラットフォーム、Mistolチャットインターフェース、またはLM Studioなのようなツールを使ってローカルにインストールできます。このモデルは、コード生産性とreasoning課題に優れているため、開発者や研究者にとって非常に有用なリソースとなります。

Mistolファミリーの発表に続き、コデストラル・マンバは新しいアーキテクチャの探索と提供への取り組みの1つの一歩を表しています。このモデルはコーディング面に重点を置いた新しいファミリーで、無料で利用でき、改変や配布が可能です。このモデルは、Albert GooとTR daの協力のもと設計されており、Transformerモデルとは異なり、線形時間推論と連続的および無限長のモデル化が可能で、ユーザーとの長期的な関わりと迅速な応答に効率的です。

コデストラル・マンバモデルは、高度なコードとreasoning機能を備えて訓練されており、最先端のTransformerベースのモデルと同等のパフォーマンスを発揮できます。パフォーマンス指標では、この70億パラメータのモデルは、Codegamma、Codelama 7B、DeepSeed version 1.5 7Bなどのモデルを大半のベンチマークで上回っています。22億パラメータのコデストラル大規模モデルには及ばないものの、それに近い性能を発揮し、Meta AIの34億パラメータCodelama モデルに対しても健闘しています。

コデストラル・マンバの注目すべき特徴の1つは、最大256kトークンのコンテキストウィンドウを処理できる能力で、ローカルコードアシスタントとして非常に効果的です。コデストラル・マンバは、MistolのインファレンスSDK、NVIDIA's TensorRT大規模言語モデル、今後のLLaMA CPPサポートなど、さまざまなプラットフォームでデプロイできます。また、Hugging Faceからの生の重みをダウンロードすることもできます。

全体として、コデストラル・マンバは、コーディング重視の言語モデルの大きな進歩を示しており、幅広い用途に向けて、優れたパフォーマンス、効率性、および柔軟性を提供しています。

コデストラル・マンバモデルにアクセスして利用する方法は以下のようなものがあります:

1. Mistol AIプラットフォーム: Mistol AIプラットフォームを通じてコデストラル・マンバモデルへのアクセスを申請できます。電話番号の確認後、APIキーにアクセスし、様々な方法でモデルを使用できます。

2. Mistol AIチャット: Mistol AIのチャットインターフェイスを使えば、コデストラル・マンバを含むMistolのすべてのモデルにアクセスできます。24時間以内にコデストラル・マンバモデルを選択し、チャットを開始できるようになります。

3. ローカルインストール: LLM Studioなどのツールを使ってコデストラル・マンバモデルをローカルにインストールできます。LLM Studioは、オープンソースの大規模言語モデルをローカルで実行するのが簡単です。インストール後、コデストラル・マンバモデルをロードし、チャットインターフェイスで操作を開始できます。

4. Mistol Inference SDK: Mistol AIは、コデストラル・マンバモデルのデプロイに使えるインファレンスSDKを提供しています。このSDKは、GitHubリポジトリのリファレンス実装に依存しています。

5. NVIDIA Tensor RT: コデストラル・マンバモデルをNVIDIAのTensor RT大規模言語モデルを使ってデプロイすることもできます。

6. LLaMA CPP: Mistol AIは最近、Hugging Faceからコデストラル・マンバモデルの生の重みをダウンロードできるLLaMA CPPのサポートを公開しました。

コデストラル・マンバモデルは、高度なコードとreasoning機能により、特にコード生産性に優れています。線形時間推論と連続的および無限長のモデル化が可能なため、ユーザーとの長期的な関わりと迅速な応答に効率的です。