코데스트랄 맘바는 미스톨 AI가 출시한 새로운 대규모 언어 모델로, 70억 개 이상의 매개변수를 자랑합니다. 이 코딩 중심 모델은 맘바 아키텍처를 기반으로 하며 Patchy 2.0 라이선스 하에 제공되어 상업적 사용이 가능합니다.

코데스트랄 맘바의 주요 특징 중 하나는 256k 토큰 컨텍스트 창이 매우 크다는 것입니다. 이는 70억 매개변수 미스톨 모델보다 훨씬 큽니다. 이를 통해 더 큰 컨텍스트 작업에서 더 빠른 추론이 가능하여, 코드 관련 애플리케이션에 강력한 도구가 됩니다.

70억 매개변수 미스톨과 같은 더 작은 모델은 더 큰 모델의 성능을 따라가지 못할 수 있지만, 코데스트랄 맘바는 더 빠른 추론 속도와 낮은 계산 비용을 제공합니다. 인간 평가 벤치마크에서 코데스트랄 맘바는 75%를 기록하여 GPT-4 Omni와 같은 더 큰 모델을 능가했습니다.

미스톨 AI는 또한 70억 매개변수 미스톨 모델을 출시했는데, 이는 현재 가장 우수한 오픈소스 수학 기반 모델입니다. 코데스트랄 맘바 70억 매개변수 모델 또한 해당 범위의 모델 중 가장 좋은 점수를 달성했습니다.

코데스트랄 맘바에 액세스하려면 미스톨 플랫폼, 미스톨 채팅 인터페이스 또는 LM Studio와 같은 도구를 사용하여 모델을 로컬로 설치할 수 있습니다. 이 모델은 코드 생산성과 추론 작업에 탁월한 성능을 발휘하여 개발자와 연구자에게 귀중한 자원이 될 것입니다.

미스톨 가족의 출시에 이어 코데스트랄 맘바는 새로운 아키텍처를 탐구하고 제공하려는 그들의 노력에서 또 다른 단계를 나타냅니다. 이는 코딩 측면에 더 초점을 맞춘 새로운 가족이며 무료로 제공되어 수정 및 배포가 가능합니다. 이 모델은 Albert Goo와 TR da의 도움으로 설계되었으며, 선형 시간 추론과 순차적 및 무한 길이 모델링 기능을 제공하여 변환기 모델과 다르게 광범위한 사용자 참여와 더 빠른 응답에 효율적입니다.

코데스트랄 맘바 모델은 고급 코드 및 추론 기능으로 훈련되어 최신 변환기 기반 모델과 동등한 성능을 발휘합니다. 성능 지표 측면에서 이 70억 매개변수 모델은 대부분의 벤치마크에서 Codegamma, Codelama 7B, DeepSeed version 1.5 7B와 같은 모델을 능가합니다. 더 큰 22억 매개변수 코데스트랄 모델에는 미치지 못하지만, Meta AI의 34억 매개변수 Codelama 모델과 비교해서도 괜찮은 성과를 보입니다.

코데스트랄 맘바의 주목할 만한 특징 중 하나는 256k 토큰 컨텍스트 창을 처리할 수 있는 능력으로, 이를 통해 로컬 코드 어시스턴트로 매우 효과적입니다. 미스톨 추론 SDK, NVIDIA의 TensorRT 대규모 언어 모델, 향후 LLaMA CPP 지원 등 다양한 플랫폼을 통해 코데스트랄 맘바를 배포할 수 있습니다. 또한 Hugging Face에서 원시 가중치를 다운로드할 수 있습니다.

전반적으로 코데스트랄 맘바는 코딩 중심 언어 모델 분야에서 큰 진전을 이루었으며, 다양한 애플리케이션에 대한 향상된 성능, 효율성 및 다양성을 제공합니다.

코데스트랄 맘바 모델에 액세스하고 활용하는 방법은 여러 가지가 있습니다:

1. 미스톨 AI 플랫폼: 미스톨 AI 플랫폼을 통해 코데스트랄 맘바 모델에 대한 액세스를 요청할 수 있습니다. 전화번호 확인 후 API 키에 액세스하여 다양한 방식으로 모델을 사용할 수 있습니다.

2. 미스톨 AI 채팅: 미스톨 AI의 채팅 인터페이스를 통해 코데스트랄 맘바 모델을 포함한 모든 모델에 액세스할 수 있습니다. 향후 24시간 내에 코데스트랄 맘바 모델을 선택하고 채팅을 시작할 수 있습니다.

3. 로컬 설치: LLM Studio와 같은 도구를 사용하여 코데스트랄 맘바 모델을 로컬로 설치할 수 있습니다. LLM Studio를 통해 오픈소스 대규모 언어 모델을 쉽게 실행할 수 있습니다. 설치 후 코데스트랄 맘바 모델을 로드하고 채팅 인터페이스에서 상호 작용할 수 있습니다.

4. 미스톨 추론 SDK: 미스톨 AI는 코데스트랄 맘바 모델을 배포할 수 있는 추론 SDK를 제공합니다. 이 SDK는 GitHub 리포지토리의 참조 구현을 사용합니다.

5. NVIDIA Tensor RT: NVIDIA의 Tensor RT 대규모 언어 모델을 사용하여 코데스트랄 맘바 모델을 배포할 수도 있습니다.

6. LLaMA CPP: 미스톨 AI는 최근 LLaMA CPP에 대한 지원을 출시했으며, 이를 통해 Hugging Face에서 다운로드할 수 있는 코데스트랄 맘바 모델의 원시 가중치를 사용할 수 있습니다.

코데스트랄 맘바 모델은 고급 코드 및 추론 기능 덕분에 코드 생산성에 특히 유용합니다. 선형 시간 추론 및 순차적 및 무한 길이 콘텐츠 모델링 기능으로 인해 광범위한 사용자 참여와 더 빠른 응답에 효율적입니다.

코드 스트롤 맘바 모델은 코딩 및 추론 기능 분야에서 큰 진전을 이룬 대규모 언어 모델을 나타냅니다. 70억 매개변수를 가진 이 모델은 다양한 벤치마크에서 더 작은 모델들을 능가하며 뛰어난 성능을 보여줍니다.

코드 스트롤 맘바의 주요 장점 중 하나는 선형 시간 추론과 순차적 및 무한 길이 모델링 기능을 통해 광범위한 사용자 참여와 더 빠른 응답이 가능하다는 것입니다. 이는 코드 생산성 도구 및 로컬 코드 어시스턴트와 같은 응용 프로그램에 매우 적합합니다.

상업적 사용을 허용하는 Pachi 2.0 라이선스 하에 모델을 사용할 수 있다는 점은 실제 응용 프로그램에서의 접근성과 활용도를 높입니다. 또한 미스톨 추론 SDK, NVIDIA의 TensorRT, 향후 llama-cpp 지원 등 다양한 배포 옵션을 통해 개발자들이 프로젝트에 코드 스트롤 맘바를 통합할 수 있는 유연성이 제공됩니다.

전반적으로 코드 스트롤 맘바는 코딩 및 추론 기능에 초점을 맞춘 새로운 아키텍처 접근법을 제공하는 미스톨 AI 가족의 유망한 추가 모델입니다. 이 모델이 더 널리 보급됨에 따라 개발자와 연구자들이 이를 활용하여 언어 기반 응용 프로그램의 경계를 확장할 수 있을 것으로 기대됩니다.