Meta AI는 최근 LLaMA 언어 모델의 세 번째 반복인 LLaMA 3을 출시했습니다. 이 새로운 모델은 성능과 기능에서 상당한 발전을 보여, 다양한 AI 애플리케이션을 개발하고 연구하는 개발자와 연구자들에게 매력적인 선택이 되고 있습니다.

LLaMA 3은 각각 80억 개와 700억 개의 매개변수를 가진 두 가지 사전 학습 및 지침 조정 버전으로 제공됩니다. 이 모델은 LLaMA 2에 사용된 데이터셋보다 7배 큰 15조 개 이상의 토큰으로 학습되었습니다. 이 확장된 학습 데이터에는 코드가 4배 더 많이 포함되어 있어, LLaMA 3이 코드 생성 및 기타 프로그래밍 관련 작업에 특히 능숙합니다.

Meta AI가 제공한 벤치마크는 LLaMA 3의 인상적인 기능을 보여줍니다. 80억 개의 매개변수 버전은 적은 샘플 학습, 질문 답변, 수학 추론 등 다양한 작업에서 인기 있는 Galactica 7B와 Mistral 7B Instruct 모델을 능가합니다. 더 큰 700억 개의 매개변수 모델도 강력한 Chinchilla 1.5B 모델과 견줄 만한 성능을 보이며, 특히 코드 생성 분야에서 두각을 나타냅니다.

LLaMA 3의 주요 특징 중 하나는 다단계 작업에 대한 향상된 지원과 응답 정렬 개선으로, 더 강력하고 신뢰할 수 있는 AI 에이전트 개발에 초점을 맞추고 있습니다. 또한 Meta AI는 LLaMA Guard 시스템과 Cyber SEC Eval 프레임워크와 같은 새로운 도구와 프로세스를 도입하여 모델의 책임감 있는 개발과 사용을 촉진하고 있습니다.

전반적으로 LLaMA 3의 출시는 오픈 소스 언어 모델 세계에서 중요한 진전을 나타냅니다. 뛰어난 성능, 확장된 기능, 책임감 있는 개발에 대한 약속을 통해 LLaMA 3은 다양한 AI 애플리케이션과 연구 이니셔티브에 유용한 자원이 될 것으로 기대됩니다.

Meta AI의 LLaMA 3 출시는 대규모 언어 모델 세계에서 중요한 진전을 나타냅니다. 이 LLaMA 시리즈의 최신 반복은 이전 버전을 능가하는 향상된 성능과 기능을 자랑합니다.

주요 하이라이트 중 하나는 언어 미묘함, 상황적 이해, 번역 및 대화 생성과 같은 복잡한 작업에서 최첨단 성능이 향상된 것입니다. 확장성과 성능이 향상되어 Meta의 개선된 사후 학습 프로세스를 통해 LLaMA 3은 거짓 거부율을 크게 낮추고, 응답 정렬을 개선하며, 모델 답변의 다양성을 높일 수 있습니다.

모델의 기능은 추론, 코드 생성, 지침 따르기 등의 분야에서 크게 향상되었습니다. 이는 LLaMA 3이 다양한 지표에서 Geman 7B와 MISTL 7B Instruct를 능가하는 벤치마크 결과에서 드러납니다. 특히 인상적인 수학 점수는 경쟁 모델의 3배에 달합니다.

700억 개의 매개변수를 가진 LLaMA 3의 대형 버전은 강력한 Chinchilla Pro 1.5 모델과 비교되었으며, 코드 생성 분야에서 81점을 받아 Chinchilla Pro의 71점과 CLAUDE 3 Sonic의 73점을 능가하는 성과를 보였습니다.

이러한 성능과 기능 향상은 LLaMA 3을 언어 기반 작업부터 복잡한 문제 해결과 코드 생성에 이르는 다양한 애플리케이션에 적합한 강력하고 다재다능한 모델로 만듭니다. 오픈 소스 커뮤니티가 이 모델의 잠재력을 계속 탐구하고 활용함에 따라 AI 개발의 미래는 점점 더 유망해질 것입니다.

Meta AI의 LLaMA 3 출시는 대규모 언어 모델에 대한 새로운 기준을 설정했습니다. 제공된 벤치마크에 따르면 LLaMA 3의 80억 개 매개변수 버전은 다양한 작업에서 경쟁 모델을 능가합니다.

벤치마크의 주요 하이라이트는 다음과 같습니다:

• MLU 5-shot: LLaMA 3 8B는 78.4점을 받은 반면, Geman 7B는 53점, MISTL 7B Instruct는 58점을 받았습니다.
• GPQA Zero-shot: LLaMA 3 8B는 34점을 받은 반면, Geman 7B는 21점, MISTL 7B Instruct는 26점을 받았습니다.
• 수학 점수: LLaMA 3 8B는 수학 과제에서 Geman 7B와 MISTL 7B Instruct의 점수를 거의 3배 능가했습니다.
• 코드 생성: 코드 생성에 대한 인간 평가 점수는 LLaMA 3 70B가 81점, Geman Pro 1.5가 71점, CLA 3 Sonic이 73점이었습니다.

이 벤치마크는 추론, 코드 생성, 지침 따르기 등의 분야에서 LLaMA 3의 향상된 성능과 기능을 보여줍니다. 이는 LLaMA 3을 이전 버전과 현재 최첨단 모델을 크게 능가하는 매우 강력하고 경쟁력 있는 대규모 언어 모델로 자리매김하게 합니다.

Meta는 신뢰와 안전에 초점을 맞추며 LLaMA 3의 책임감 있는 개발을 위한 종합적인 접근법을 취했습니다. 그들은 대규모 언어 모델의 책임감 있는 개발에 대한 포괄적인 정보를 제공하기 위해 책임감 있는 사용 가이드(RUG)를 업데이트했습니다.

시스템 중심적 접근법에는 ML Commons에서 발표한 분류법을 지원하도록 최적화된 LLaRD(LLaMA Responsible Development)를 포함한 신뢰와 안전 도구의 업데이트가 포함됩니다. 이를 통해 안전 범주 범위가 더 포괄적으로 확장되었습니다.

또한 Meta는 개발자가 접근할 수 있는 안전 기능을 제공하는 LLaMA Guard라는 도구 세트를 도입했습니다. 여기에는 코드의 보안 관행을 평가하는 Code Shield와 잠재적 오용(안전하지 않은 코드 관행, 사이버 공격자 도움, 코드 인터프리터 남용, 프롬프트 주입 취약성 등)을 확인하는 CyberSec Eval 2가 포함됩니다.

Meta는 신뢰와 안전에 대한 선제적이고 투명한 접근법을 통해 LLaMA 3을 사용하는 애플리케이션의 책임감 있는 개발을 가능하게 하고, 이 모델을 중심으로 개방형 생태계를 구축하고자 합니다.

Meta는 LLaMA 3 언어 모델의 최신 버전을 자사의 다양한 앱과 서비스에 통합한다고 발표했습니다. 여기에는 다음과 같은 통합이 포함됩니다:

• Facebook
• Instagram
• WhatsApp
• Messenger

사용자들은 이제 이러한 앱 내에서 직접 LLaMA 3 모델과 상호 작용하여 실시간 정보를 얻고, 질문에 답변하며, 다양한 작업을 수행할 수 있습니다. 이 통합을 통해 사용자들은 앱을 벗어나지 않고도 LLaMA 3의 향상된 성능, 상황적 이해, 다단계 작업 완성 기능을 활용할 수 있습니다.

또한 Meta는 Meta AI 추론 인터페이스에서 LLaMA 3을 사용할 수 있도록 제공하여, 개발자들이 자신의 애플리케이션과 프로젝트에 이 강력한 언어 모델을 쉽게 활용할 수 있게 했습니다.

전반적으로 Meta의 앱과 서비스에 LLaMA 3을 통합하는 것은 사용자와 개발자 모두에게 첨단 AI 기능을 손쉽게 제공함으로써 Meta 생태계 내에서 혁신과 생산성을 높이는 중요한 단계입니다.

LLaMA 3 모델은 github.com/facebookresearch/llama의 공식 GitHub 리포지토리를 통해 다운로드하고 탐색할 수 있습니다. 이 리포지토리에는 코드와 모델 파일에 대한 액세스가 제공되어, 개발자들이 LLaMA 시리즈의 이 최신 반복 버전의 기능을 깊이 있게 탐구할 수 있습니다.

이 리포지토리에는 다음과 같은 주요 리소스가 포함되어 있습니다:

1. 모델 파일: LLaMA 3 모델은 80억 개와 700억 개의 매개변수 두 가지 크기로 제공됩니다. 이러한 사전 학습된 모델은 다양한 애플리케이션에 사용할 수 있습니다.

2. 코드: GitHub 리포지토리에는 LLaMA 3 모델의 소스 코드가 포함되어 있어, 개발자들이 기본 아키텍처를 이해하고 자신의 사용 사례에 맞게 모델을 미세 조정하거나 적응시킬 수 있습니다.

3. 문서: 이 리포지토리에는 LLaMA 3 모델을 효과적으로 다운로드, 설정 및 사용하는 방법에 대한 자세한 문서가 포함되어 있습니다.

4. 벤치마크: 이 리포지토리에는 LLaMA 3의 다양한 벤치마크 성능이 제시되어, 사용자들이 다른 언어 모델과 비교할 수 있습니다.

5. 책임감 있는 사용 가이드: Meta AI는 LLaMA 3 모델을 사용하는 애플리케이션의 윤리적이고 책임감 있는 개발을 보장하기 위해 포괄적인 "책임감 있는 사용 가이드"를 포함했습니다.

LLaMA 3 GitHub 리포지토리를 탐색함으로써 개발자들은 모델의 기능에 대한 깊이 있는 이해를 얻고, 코드를 실험하며, 사전 학습된 모델을 활용하여 혁신적인 AI 기반 애플리케이션을 구축할 수 있습니다. 이 공개 소스 릴리스는 Meta의 인공 지능 발전과 개발자 커뮤니티 지원에 대한 약속을 반영합니다.