Mixtral AI는 최근 Mixtral 8x22B MoE라는 대규모 오픈 가중치 모델을 출시했습니다. 이 모델은 인상적인 1760억 개의 매개변수를 자랑합니다. 이 모델은 각각 220억 개의 매개변수를 가진 8개의 전문가 모델로 구성된 혼합 모델입니다. 이를 통해 매우 강력하고 다재다능한 언어 모델을 만들어냈습니다.

Mixtral 8x22B MoE는 다음과 같은 주목할 만한 특징을 가지고 있습니다:

• 큰 문맥 길이: 모델은 최대 655,000개의 토큰을 지원할 수 있어 이전 세대보다 크게 향상되었습니다.
• 인상적인 성능: 기본 형태에서도 이전 최고 수준의 오픈 가중치 모델인 Cair R+를 능가하는 성능을 보여줍니다.
• 상용 가용성: 모델은 Apache 2.0 라이선스 하에 출시되어 상용 사용이 가능합니다.
• Hugging Face 통합: 모델과 토크나이저가 Hugging Face 플랫폼에서 이용 가능하여 AI 커뮤니티에 널리 접근할 수 있습니다.

모델의 사전 학습 데이터와 다국어 기능은 아직 알려지지 않았지만, 초기 평가 결과에 따르면 Mixtral 8x22B MoE는 매우 강력한 언어 모델인 것으로 보입니다. 그 성능은 Chinchilla와 GPT-4 사이로 추정되지만, 사용자들은 자신의 애플리케이션에서 직접 테스트해 보는 것이 좋습니다.

Mistal AI 822B 모델의 기본 버전은 다양한 평가에서 이전 최고 오픈 가중치 모델인 Cair R+를 능가하는 인상적인 성능을 보여주었습니다. 공식 성능 수치는 아직 공개되지 않았지만, 커뮤니티에서 일부 통찰력을 얻을 수 있었습니다.

이 모델의 성능은 Chinchilla와 GPT-4 사이에 있는 것으로 보이지만, 실제 세계 성능을 완전히 포착하지 못했을 수 있습니다. LMS Chat Arena Benchmark는 실용적인 애플리케이션에서의 모델 성능을 잘 나타내는 것으로 간주됩니다.

기본 모델의 주목할 만한 특징은 지침을 따르고 관련 응답을 제공할 수 있다는 점입니다. 이는 일반적으로 기본 모델에서 기대되지 않는 특성입니다. 이는 모델이 상당한 양의 지침 데이터로 학습되었을 수 있음을 시사하며, 향후 지시 기반 미세 조정 버전의 기능을 암시합니다.

또한 모델은 자동차 침입에 대한 응답에서 볼 수 있듯이 검열되지 않은 행동을 보여줍니다. 이는 제약이 없는 모델의 특성이며, 지시 기반 미세 조정 버전은 더 정렬되고 비윤리적이거나 불법적인 활동에 참여하지 않을 것으로 예상됩니다.

모델의 창의적인 글쓰기 능력도 인상적입니다. Jon Snow의 iPhone 14에 대한 의견에 대한 응답에서 잘 드러납니다. 기본 모델의 성능은 주목할 만하지만, 커뮤니티는 더 발전된 기능을 보여줄 것으로 기대되는 지시 기반 미세 조정 버전의 출시를 기대하고 있습니다.

이 모델은 기본 버전에서도 인상적인 기능을 보여줍니다. 사람이 한 번에 몇 대의 헬리콥터를 먹을 수 있는지 묻자, 모델은 물리적 물체를 소비할 수 없지만 비식용 물품을 섭취하는 위험에 대해 설명하는 등 사려 깊은 답변을 제공했습니다.

또한 자동차 침입에 대한 프롬프트에서 볼 수 있듯이, 모델은 지침을 따르는 능력을 보여줍니다. 그것이 불법적이라는 것을 인정하면서도 몇 가지 옵션을 제공하여 검열되지 않은 특성을 보여줍니다.

Jon Snow의 iPhone 14에 대한 의견에 대한 프롬프트로 모델의 창의적인 글쓰기 능력을 테스트했습니다. 모델은 제공된 지침에 충실하며 일관된 내러티브를 생성했습니다.

모기 살해의 윤리성에 대해 묻자, 모델은 모기가 생태계에서 중요한 역할을 하며 그들을 죽이면 해를 줄 수 있다고 명확한 의견을 표명했습니다.

모델의 투자 제안은 완전히 놀랍지는 않지만 AI 산업에 대한 이해와 관련 권장 사항을 제공할 수 있음을 보여줍니다.

그러나 Sally의 형제자매에 대한 논리 문제와 같은 일부 문제에서는 어려움을 겪었습니다. 정확한 답변을 제공하지 못했는데, 이는 추가적인 개선과 미세 조정이 필요함을 시사합니다.

전반적으로 모델의 응답은 지침 따르기, 창의적 글쓰기, 복잡한 주제에 대한 의견 표명 등의 분야에서 인상적인 기능을 보여줍니다. 모델이 더 미세 조정되면 성능이 향상될 것으로 기대되어, 대규모 언어 모델 분야의 흥미로운 발전이 될 것입니다.

트랜스크립트에 따르면 모델은 모기 살해의 윤리성에 대해 질문받았을 때 일정 수준의 도덕적 추론을 보여줍니다. 모델은 모기가 자연 생태계의 일부이며 다른 동물의 먹이원이 되므로 "도덕적으로 옳지 않다"고 말합니다. 생태계를 교란하면 다른 종에 해를 줄 수 있다고 설명합니다. 이는 모델이 단순한 선악의 관점이 아닌 더 넓은 환경적, 생태학적 영향을 고려하도록 훈련되었음을 시사합니다.

그러나 모델의 응답은 도덕적 추론의 한계도 보여줍니다. 자동차 침입에 대해 묻자 불법이라고 인정하면서도 단계별 지침을 제공하여, 비윤리적인 행동에 대한 강력한 도덕적 정렬이 부족함을 보여줍니다. 또한 가족 관계에 대한 간단한 논리 문제를 해결하지 못한 것은 추론 능력의 개선이 필요함을 시사합니다.

전반적으로 트랜스크립트는 모델에 기본적인 도덕적 추론 능력이 있음을 보여주지만, 일관되게 윤리적인 결정을 내릴 수 있도록 더 정교한 정렬이 필요함을 강조합니다.

모델은 Nvidia, Google, Microsoft, Amazon, IBM 등 AI 관련 기업에 투자할 것을 추천했습니다. 이는 합리적인 선택으로 보입니다. 이 기업들은 모두 AI 및 기술 산업에서 주요 플레이어입니다.

Nvidia는 AI 및 기계 학습 애플리케이션에 필수적인 GPU와 기타 하드웨어를 생산하는 선도적인 기업입니다. Google, Microsoft, Amazon은 AI 연구 및 개발에 상당한 투자와 역량을 가진 기술 대기업들입니다. IBM 또한 AI 분야에서 강력한 입지를 가지고 있습니다.

전반적으로 모델의 투자 제안은 AI 산업과 주요 기업에 대한 깊은 이해를 바탕으로 한 것으로 보입니다. 제안이 완전하지는 않지만 AI 관련 기업에 투자하려는 사람들에게 좋은 출발점을 제공합니다. 그러나 투자 결정은 철저한 조사와 분석을 바탕으로 해야 하며, AI 모델의 권장 사항만으로 결정해서는 안 됩니다.

모델의 수학 및 프로그래밍 문제 해결 능력은 혼합적이었습니다. S3 버킷에 파일을 쓰는 Python 프로그램을 제공할 수 있었지만, 기본적인 수학 문제에서는 어려움을 겪었습니다.

Sally의 자매 수에 대한 질문에서 모델은 정확한 답변을 제공하지 못했습니다. 질문에 답할 수 없다고 말하거나 잘못된 응답을 했습니다.

유사하게 "킬러 문제"에서도 모델의 응답이 잘못되었습니다. 처음에 99명의 킬러가 있었고 한 명이 죽었다면 98명의 킬러가 남는다고 했습니다. 이는 문제의 정답이 아닙니다.

그러나 S3 버킷과 상호 작용하는 작동 Python 프로그램을 생성할 수 있는 능력은 인상적이며, 모델의 강력한 프로그래밍 기술을 보여줍니다. 이는 모델이 순수한 수학적 추론보다는 코딩 및 소프트웨어 개발 분야에 더 적합할 수 있음을 시사합니다.

전반적으로 이러한 유형의 문제에 대한 모델의 성능은 혼합적입니다. 일부 분야에서는 강점을 보이지만 다른 분야에서는 약점을 보입니다. 모델이 계속 미세 조정 및 개선됨에 따라 이러한 영역에서의 기능이 어떻게 발전할지 지켜볼 것입니다.