Codestral Mamba är en ny stor språkmodell som släppts av Mistol AI och som har över 7 miljarder parametrar. Denna kodningsfokuserade modell är baserad på Mamba-arkitekturen och är tillgänglig under Patchy 2.0-licensen, vilket möjliggör kommersiell användning.

En av de viktigaste funktionerna hos Codestral Mamba är dess stora 256k-tokenkontext-fönster, vilket är betydligt större än Mistol-modellen med 7 miljarder parametrar. Detta möjliggör snabbare inferens på större kontextuppgifter, vilket gör den till ett kraftfullt verktyg för kodrelaterade tillämpningar.

Medan mindre modeller som Mistol-modellen med 7 miljarder parametrar kanske inte matchar prestandan hos större modeller, erbjuder Codestral Mamba snabbare inferenshastigheter och lägre beräkningskostnader. I utvärderingsreferenser för människor uppnådde Codestral Mamba 75%, vilket överträffade större modeller som GPT-4 Omni.

Mistol AI har också släppt en annan modell, Mistol 7 miljarder parametrar-modellen, som för närvarande är den bäst presterande öppna källkods-matematikbaserade modellen. Codestral Mamba 7 miljarder parametrar-modellen uppnår också ett av de bästa resultaten bland modeller i sitt intervall.

Efter lanseringen av Mistol-familjen representerar Codestral Mamba ett ytterligare steg i deras ansträngningar att utforska och tillhandahålla en ny arkitektur. Det är en ny familj som fokuserar mer på kodningsaspekter och är tillgänglig gratis, vilket gör att du kan modifiera och distribuera den. Denna modell utvecklades med hjälp av Albert Goo och TR da, och den skiljer sig från Transformer-modeller genom att erbjuda linjär tidsbaserad inferens och möjligheten att modellera sekventiella såväl som oändliga längder, vilket gör den mer effektiv för omfattande användarengagemang och snabbare svar.

Codestral Mamba-modellen tränades med avancerade kod- och resoneringsförmågor, vilket gör att den kan prestera på samma nivå som state-of-the-art Transformer-baserade modeller. När det gäller prestanda överträffar denna 7 miljarder parametrar-modell modeller som Codegamma, Codelama 7B och DeepSeed version 1.5 7B i de flesta referensmätningar. Även om den kanske inte överträffar den större 22 miljarder parametrar-modellen Codestral, ligger den relativt nära och gör till och med ett hyggligt jobb jämfört med 34 miljarder parametrar-modellen Codelama från Meta AI.

En anmärkningsvärd funktion hos Codestral Mamba är dess förmåga att hantera upp till 256k-tokenkontext-fönster, vilket gör den mycket effektiv som en lokal kodassistent. Du kan distribuera Codestral Mamba med hjälp av olika plattformar, inklusive Mistol inference SDK, NVIDIA's TensorRT för stora språkmodeller och det kommande stödet för LLaMA CPP. Du kan också ladda ner de råa vikterna från Hugging Face.

Det finns flera sätt att komma åt och använda Codestral Mamba-modellen:

1. Mistol AI-plattformen: Du kan begära åtkomst till Codestral Mamba-modellen via Mistol AI-plattformen. Efter att ha verifierat ditt telefonnummer kommer du att kunna komma åt API-nyckeln och använda modellen på olika sätt.

2. Mistol AI-chatten: Mistol AI:s chattgränssnitt låter dig komma åt alla deras modeller, inklusive Codestral Mamba-modellen. Inom de närmaste 24 timmarna bör du kunna välja Codestral Mamba-modellen och börja chatta med den.

3. Lokal installation: För att installera Codestral Mamba-modellen lokalt kan du använda verktyg som LLM Studio. LLM Studio gör det enkelt att köra öppna källkods-språkmodeller lokalt. När den är installerad kan du läsa in Codestral Mamba-modellen och börja interagera med den i chattgränssnittet.

4. Mistol Inference SDK: Mistol AI tillhandahåller ett inference SDK som du kan använda för att distribuera Codestral Mamba-modellen. Detta SDK förlitar sig på referensimplementeringen från deras GitHub-förråd.

5. NVIDIA Tensor RT: Du kan också distribuera Codestral Mamba-modellen med hjälp av NVIDIA's Tensor RT för stora språkmodeller.

6. LLaMA CPP: Mistol AI har nyligen släppt stöd för LLaMA CPP, vilket gör att du kan använda de råa vikterna för Codestral Mamba-modellen som kan laddas ner från Hugging Face.

Codestral Mamba-modellen representerar ett betydande framsteg inom området för stora språkmodeller, särskilt när det gäller kodnings- och resoneringsförmågor. Med sina 7 miljarder parametrar överträffar modellen många av sina mindre motsvarigheter i olika referensmätningar och visar upp sin imponerande prestanda.

En av de viktigaste höjdpunkterna hos Codestral Mamba är dess förmåga att hantera omfattande användarengagemang och ge snabbare svar, tack vare sin linjära tidsbaserade inferens och potential att modellera sekventiella såväl som oändliga längder. Detta gör den till ett utmärkt val för tillämpningar som kräver effektiv och responsiv språkbehandling, som produktivitetsverktyg för kod och lokala kodassistenter.

Modellens tillgänglighet under Pachi 2.0-licensen, som tillåter kommersiell användning, förbättrar ytterligare dess tillgänglighet och potential för verkliga tillämpningar. Dessutom ger de olika distributionsalternativen, inklusive Mistol inference SDK, NVIDIA's TensorRT och det kommande stödet för llama-cpp, utvecklare flexibilitet i att integrera Codestral Mamba i sina projekt.

Sammanfattningsvis är Codestral Mamba ett lovande tillskott till Mistol AI-familjen, som erbjuder ett nytt arkitektoniskt tillvägagångssätt som fokuserar på kodnings- och resoneringsförmågor. När modellen blir mer tillgänglig kommer det att bli spännande att se hur den utnyttjas av utvecklare och forskare för att driva gränserna för språkbaserade tillämpningar.