Кодестральная Мамба - это новая крупная языковая модель, выпущенная Mistol AI, которая может похвастаться более чем 7 миллиардами параметров. Эта модель, ориентированная на программирование, основана на архитектуре Мамбы и доступна по лицензии Patchy 2.0, что позволяет использовать ее в коммерческих целях.

Одной из ключевых особенностей Кодестральной Мамбы является ее большое 256k-токеновое контекстное окно, которое значительно больше, чем у 7-миллиардной параметрической модели Mistol. Это позволяет быстрее выполнять вывод на задачах с большим контекстом, делая ее мощным инструментом для приложений, связанных с кодом.

Хотя более мелкие модели, такие как 7-миллиардная параметрическая модель Mistol, могут не соответствовать производительности более крупных моделей, Кодестральная Мамба предлагает более быстрый вывод и более низкие вычислительные затраты. В эталонных тестах с участием людей Кодестральная Мамба набрала 75%, превзойдя более крупные модели, такие как GPT-4 Omni.

После выпуска семейства Mistol, Кодестральная Мамба представляет собой еще один шаг в их усилиях по исследованию и предоставлению новой архитектуры. Это новое семейство, которое больше сосредоточено на аспектах программирования и доступно бесплатно, позволяя вам модифицировать и распространять его. Эта модель была разработана при участии Альберта Гу и TR da и отличается от моделей Transformer линейным временем вывода и возможностью моделировать последовательные, а также бесконечные последовательности, что делает ее более эффективной для длительного взаимодействия пользователей и более быстрых ответов.

Модель Кодестральной Мамбы была обучена с передовыми возможностями кодирования и рассуждения, что позволяет ей работать наравне с современными моделями на основе Transformer. По показателям производительности эта 7-миллиардная параметрическая модель превосходит такие модели, как Codegamma, Codelama 7B и DeepSeed версии 1.5 7B, в большинстве эталонных тестов. Хотя она, возможно, не превзойдет более крупную 22-миллиардную параметрическую модель Кодестральной Мамбы, она относительно близка к ней и даже неплохо справляется по сравнению с 34-миллиардной параметрической моделью Codelama от Meta AI.

Одной из примечательных особенностей Кодестральной Мамбы является ее способность обрабатывать контекстные окна до 256k токенов, что делает ее высокоэффективной в качестве локального помощника по коду. Вы можете развернуть Кодестральную Мамбу с помощью различных платформ, включая SDK для вывода Mistol, TensorRT NVIDIA для крупных языковых моделей и предстоящую поддержку LLaMA CPP. Кроме того, вы можете загрузить исходные веса с Hugging Face.

В целом, Кодестральная Мамба представляет собой значительный прогресс в области языковых моделей, ориентированных на программирование, предлагая улучшенную производительность, эффективность и универсальность для широкого спектра приложений.