메타는 GPT-4와 유사한 AI 채팅봇 어시스턴트인 Llama3 모델을 출시했습니다. 초기 결과가 매우 인상적이며, Llama3는 다양한 벤치마크에서 잘 수행했습니다. Llama3의 700억 매개변수 버전은 강력한 데스크톱 컴퓨터에서 실행할 수 있으며, HumanEval 코딩 과제 벤치마크에서 82%를 달성했는데, 이는 현대 독점 시스템의 성능에 근접합니다.

Llama3는 GPQA 과학 테스트에서도 40%에 가까운 점수를 받아 매우 인상적인 성과를 보였습니다. 그러나 수학 중심 과제에서는 50%의 점수를 받아 OpenAI의 GPT-4보다 약합니다.

또한 메타는 약 4000억 매개변수 모델을 개발 중이며, 이는 700억 매개변수 버전보다 다양한 테스트에서 큰 향상을 보일 것으로 예상됩니다. 이 더 큰 모델은 아직 개발 중이지만 올해 말까지 출시될 것으로 예상됩니다.

Llama3의 인상적인 성능은 특히 오픈소스 모델이며 누구나 무료로 사용할 수 있다는 점에서 주목할 만합니다. 이는 GPT-4와 같은 독점 시스템과 대조됩니다. Llama3가 일부 측면에서 GPT-4의 이전 버전과 비슷한 성능을 보이는 것은 오픈소스 AI 모델의 발전을 보여줍니다.