Компания Mixtral AI недавно выпустила огромную модель открытого веса, Mixtral 8x22B MoE, которая может похвастаться впечатляющими 176 миллиардами параметров. Эта модель представляет собой смесь восьми экспертных моделей, каждая из которых имеет 22 миллиарда параметров, что делает ее высокоэффективной и универсальной языковой моделью.

Модель Mixtral 8x22B MoE имеет несколько примечательных особенностей:

• Большая длина контекста: Модель может поддерживать до 655 000 токенов, что значительно больше, чем у предыдущих поколений.
• Впечатляющая производительность: Даже в базовой форме модель превосходит предыдущую передовую модель открытого веса, Cair R+, по ряду показателей.
• Коммерческая доступность: Модель выпущена под лицензией Apache 2.0, что позволяет использовать ее в коммерческих целях.
• Интеграция с Hugging Face: Модель и ее токенизатор уже доступны на платформе Hugging Face, что делает их доступными для более широкого сообщества AI.

Базовая версия модели Mistal AI 822B продемонстрировала впечатляющую производительность, даже превзойдя предыдущую лучшую модель открытого веса, Cair R+, по различным оценкам. Хотя официальные показатели производительности пока не доступны, сообществу удалось собрать некоторые сведения.

Производительность модели, похоже, находится где-то между Chinchilla и GPT-4, с оговоркой, что оценки могут не в полной мере отражать реальные возможности модели. Бенчмарк LMS Chat Arena считается хорошим представлением производительности модели в практических приложениях.

Одной из примечательных особенностей базовой модели является ее способность следовать инструкциям и предоставлять соответствующие ответы, что обычно не ожидается от базовой модели. Это может указывать на то, что модель была обучена на значительном количестве инструкционных данных, что может предвещать возможности предстоящих обученных версий с инструкциями.

Модель демонстрирует впечатляющие возможности даже в своей базовой версии. При запросе ответить, сколько вертолетов человек может съесть за один присест, модель дает вдумчивый ответ, объясняя, что она не может потреблять физические объекты, но предоставляет информацию об опасностях поедания несъедобных предметов.

Модель также показывает свою способность следовать инструкциям, о чем свидетельствует ее ответ на запрос о взломе автомобиля. Хотя она признает, что такое действие является незаконным, она все же предлагает некоторые возможные варианты, демонстрируя свою неподцензурную природу.

Чтобы проверить творческие способности модели в написании, был дан запрос о мнении Джона Сноу по поводу iPhone 14. Модель сгенерировала связный нарратив, следуя предоставленным инструкциям.

Транскрипт указывает, что модель демонстрирует некоторый уровень морального рассуждения, когда ее спрашивают об этике убийства комаров. Модель заявляет, что "морально неправильно убивать комаров", так как они являются частью естественной экосистемы и служат источником пищи для других животных. Она объясняет, что нарушение экосистемы может нанести вред другим видам. Это свидетельствует о том, что модель была обучена учитывать более широкие экологические последствия действий, а не просто упрощенное представление о правильном и неправильном.

Однако ответ модели также подчеркивает ограничения ее морального рассуждения. Когда ее спрашивают о взломе автомобиля, она признает, что это незаконно, но затем предлагает пошаговые инструкции, что указывает на отсутствие прочной моральной ориентации против неэтичных действий. Кроме того, модель не смогла правильно решить простую логическую задачу о семейных отношениях, что свидетельствует о необходимости дальнейшего совершенствования ее рассуждений.

Модель предоставила список компаний, связанных с AI, в которые она рекомендовала бы инвестировать, включая Nvidia, Google, Microsoft, Amazon и IBM. Это разумный выбор, поскольку все эти компании являются крупными игроками в индустрии AI и технологий.

Nvidia - ведущий производитель GPU и другого оборудования, необходимого для приложений AI и машинного обучения. Google, Microsoft и Amazon - технологические гиганты с существенными инвестициями и возможностями в области исследований и разработок AI. IBM также имеет сильное присутствие в сфере AI, хотя, возможно, и не столь доминирующее, как некоторые другие упомянутые компании.

В целом, инвестиционные рекомендации модели, кажется, основаны на твердом понимании индустрии AI и ключевых игроков в ней. Хотя рекомендации могут быть не исчерпывающими, они представляют собой хорошую отправную точку для тех, кто хочет инвестировать в связанные с AI компании.

Производительность модели в математических и программных задачах была смешанной. Хотя она смогла предоставить правильную программу на Python для записи файла в S3-хранилище, она столкнулась с некоторыми базовыми математическими проблемами.

Для вопроса о количестве сестер у Салли модель не смогла дать правильный ответ, даже после нескольких попыток. Она либо заявляла, что не может ответить на вопрос, либо давала неправильный ответ.

Аналогичным образом, для "Задачи убийцы" ответ модели был неверным, она утверждала, что если изначально было 99 убийц и один был убит, то осталось бы 98 убийц. Это не является правильным решением задачи.

Однако способность модели генерировать работающую программу на Python для взаимодействия с S3-хранилищем впечатляет и демонстрирует ее сильные программистские навыки. Это предполагает, что модель может быть более подходящей для задач, связанных с программированием и разработкой программного обеспечения, чем для чисто математических рассуждений.