1백만 토큰의 문맥 창을 가진 Llama-3의 확장된 버전은 다음과 같은 여러 가지 장점을 보여줍니다:

1. 향상된 정보 검색: 더 큰 문맥 창을 통해 모델이 주어진 입력에서 관련 정보를 더 잘 검색할 수 있습니다. 이는 "바늘 찾기" 테스트에서 인상적인 결과로 입증되었습니다.

2. 향상된 추론 능력: 여러 사실을 검색하는 결과는 포함되지 않았지만, 단일 사실 검색에서의 강력한 성능은 더 작은 문맥 창을 가진 모델에 비해 추론 능력이 향상되었음을 시사합니다.

3. 효율적인 학습: 확장된 Llama-3 모델의 학습 과정은 상대적으로 빨랐으며, 원래 Llama-3 학습 데이터의 0.1% 미만인 14억 토큰만 사용했습니다. 이러한 효율적인 학습 접근법은 Rope Theta 최적화 기술의 효과를 보여줍니다.

4. 메모리 요구 감소: 4비트 양자화된 확장된 Llama-3 모델은 최소 64GB의 VRAM만으로도 실행할 수 있어, 더 많은 사용자와 연구자들이 접근할 수 있습니다.

5. 성능 향상 가능성: 확장된 Llama-3 모델은 코딩 지원 및 정보 추출과 같이 장문 콘텐츠에서 정보를 검색하고 추론해야 하는 작업에서 원래 80억 매개변수 모델을 능가할 수 있습니다.

"바늘 찾기" 테스트는 Lama 3와 같은 대규모 언어 모델(LLM)의 추론 및 검색 능력을 평가하는 방법입니다. 이 테스트에서는 무작위 사실 또는 문장을 더 큰 문맥("풀더미") 가운데 배치하고, 모델에게 이 문장을 검색하도록 요구합니다.

이 테스트에는 다양한 문서 깊이와 문맥 길이를 반복하여 모델의 성능을 측정하는 과정이 포함됩니다. 이 테스트에서 얻을 수 있는 핵심 통찰은 다음과 같습니다:

1. 문맥 창 크기: 더 큰 문맥 창(예: GPT-4의 128,000 토큰)을 사용하면 모델이 문맥 내 위치와 관계없이 단일 사실을 더 잘 검색할 수 있습니다. 그러나 문맥 창 크기가 증가하면 모델의 다중 사실 검색 정확도가 감소하기 시작합니다.

2. 검색 vs. 추론: "바늘 찾기" 테스트는 모델의 검색 능력(단일 사실 찾기)과 추론 능력(여러 사실 이해 및 검색) 사이의 trade-off를 강조합니다. 더 큰 문맥 창은 검색을 개선하지만 모델의 추론 성능에 부정적인 영향을 줄 수 있습니다.

3. Lama 3 성능: 100만 토큰 문맥 창을 가진 확장된 Lama 3 버전은 단일 사실 검색 작업에서 잘 수행했지만, 저자들은 다중 사실 검색 결과를 포함하지 않았습니다. 이 정보는 모델의 능력을 완전히 이해하는 데 도움이 될 것입니다.

100만 토큰 문맥 창을 가진 Llama-3 모델은 오픈 소스 노력을 통해 개발되었습니다. 원래 Llama-3 모델의 문맥 창은 8,000 토큰으로 훨씬 더 작았습니다. 이는 Mistral 7B Instruct와 같은 다른 대규모 언어 모델(LLM)의 32,000 토큰 문맥 창에 비해 매우 작습니다.

연구진은 Rope Theta 최적화 기술을 사용하여 Llama-3의 문맥 창을 100만 토큰으로 확장할 수 있었습니다. 이를 통해 추가 학습 없이도 문맥 창 크기를 크게 늘릴 수 있었으며, 원래 Llama-3 학습 데이터의 0.1% 미만인 14억 토큰만 사용했습니다.

학습 과정에는 65,000 토큰, 260,000 토큰, 그리고 마지막으로 100만 토큰의 단계적 문맥 창 증가가 포함되었습니다. 이러한 단계적 접근 방식을 통해 연구진은 과도한 계산 자원 없이도 모델을 효율적으로 학습시킬 수 있었습니다.

이 노력의 결과는 특히 "바늘 찾기" 테스트에서 인상적이었습니다. 모델은 큰 문맥 창에서 단일 사실을 검색하는 데 강력한 성능을 보였습니다. 그러나 연구진은 모델의 다중 사실 검색 능력에 대한 결과를 포함하지 않았습니다. 이 정보는 매우 유용할 것입니다.

Llama-3 모델의 100만 토큰 버전을 로컬에서 실행하려면 Anthropic 팀이 제공하는 Llama 구현인 OLlama를 사용해야 합니다. 다음과 같은 단계를 따르세요:

1. 시스템에 OLlama를 설치합니다. 이전 동영상에서 설명한 지침을 따르세요.

2. Llama-3 Gradient 100만 토큰 모델을 다운로드합니다. 트랜스크립트에 링크가 있습니다.

3. OLlama 명령을 실행하여 모델을 로드합니다:

   oma run Llama3-gradient
   

   이 작업은 처음에는 모델을 다운로드하는 데 시간이 걸릴 수 있습니다.

4. 원하는 크기의 문맥 창을 설정합니다. 이 예에서는 문맥 창을 256,000 토큰으로 설정했습니다:

   /set_parameter context_window 256000
   

   100GB 이상의 VRAM이 필요할 수 있으므로 시스템에 충분한 리소스가 있는지 확인하세요.

5. 검열되지 않은 동작, 추론 능력, 코딩 지원 등 다양한 프롬프트를 사용하여 모델의 기능을 테스트합니다.

모델의 성능은 다양한 프롬프트로 테스트되어 기능을 평가했습니다:

1. 검열되지 않은 프롬프트: 이전 버전에 비해 모델은 상대적으로 검열되지 않았습니다. 불법 활동 지침은 거부했지만, Linux 프로세스 종료 방법과 같은 기술 정보는 제공했습니다.

2. 추론 능력: 모델은 추론 작업에서 잘 수행했습니다. "Sally"가 없다는 것을 정확히 파악하고 형제 수를 결정했습니다. 또한 간단한 농담을 생성하여 창의성을 보여주었습니다.

3. 정보 검색: 모델은 짧은 문맥 검색 작업에서 잘 수행했지만, 27페이지 문서에서 문맥과 관련 없는 문장을 찾지 못하고 잘못된 응답을 생성했습니다.

4. 코딩 지원: 모델은 간단한 Python 프로그램의 오류를 식별하고 수정할 수 있었습니다. 이는 코딩 보조 도구로서의 잠재력을 보여줍니다.

100만 토큰 문맥 창을 가진 Llama 3 모델의 4비트 양자화 버전 테스트에서 다음과 같은 한계가 드러났습니다:

1. 환각 및 부정확한 검색: 27페이지 문서와 같은 큰 문맥을 제공하면 모델이 특정 정보를 정확하게 검색하지 못했습니다. 대신 관련 없는 세부 사항을 환각하거나 의미 없는 텍스트를 생성했습니다.

2. 양자화 아티팩트: 모델을 4비트로 과도하게 양자화하면 추론 및 검색 능력이 저하되었습니다. 특히 장문 콘텐츠를 다룰 때 이 문제가 두드러졌습니다.

3. AMA 구현 문제: 저자는 AMA 구현이 시퀀스 종료 토큰을 제대로 처리하지 않아 모델이 일관성 없는 무한 루프 텍스트를 생성하는 문제가 있다고 의심합니다.

4. 리소스 제약: 100만 토큰 Llama 3 모델을 실행하려면 많은 GPU 메모리가 필요합니다. 4비트 양자화 버전은 256,000 토큰 문맥 창에서도 최소 64GB VRAM이 필요합니다. 이러한 높은 리소스 요구 사항으로 인해 많은 사용자가 실용적으로 사용하기 어려울 수 있습니다.

100만 토큰 문맥 창을 가진 Llama-3 모델은 코딩 보조 도구로서 유망한 기능을 보여줍니다. 몇 가지 오류가 포함된 간단한 Python 프로그램을 제공했을 때, 모델은 add, subtract, divide 함수의 문제를 식별하고 수정할 수 있었습니다.

모델은 코드의 구조와 논리를 이해하고 식별된 문제에 대한 정확한 피드백을 제공할 수 있었습니다. 이는 Llama-3가 개발자들이 코드의 버그를 더 효율적으로 찾아내고 수정하는 데 도움이 될 수 있음을 시사합니다.

모델의 장문 정보 검색 성능이 혼합적이었지만, 코딩 지원 기능은 소프트웨어 개발 워크플로에서 이 모델의 잠재적 유용성을 보여줍니다. 오픈 소스 커뮤니티가 이러한 대규모 언어 모델을 계속 개선하고 최적화함에 따라 프로그래밍 작업을 지원하는 기능이 더욱 발전할 것으로 기대됩니다.

1백만 토큰 문맥 창 버전의 Lama 3는 "바늘 찾기" 테스트와 코딩 지원 작업에서 유망한 결과를 보여줍니다. 그러나 대규모 문맥 검색 작업에서의 성능은 제한적인 것으로 보이며, 이는 양자화의 영향 또는 AMA 구현 문제 때문일 수 있습니다.

오픈 소스 커뮤니티가 언어 모델의 한계를 넓히려는 노력은 칭찬받을 만하지만, 현재 1백만 토큰 문맥 창을 가진 Lama 3 버전에는 여전히 개선의 여지가 있습니다. 포괄적인 벤치마크 결과 부족과 대규모 문맥에서의 환각 경향은 추가 조사와 개선이 필요한 영역입니다.

그럼에도 불구하고, 언어 모델의 문맥 창을 확장하는 데 이룩한 진전은 중요한 발걸음입니다. 더 강력한 하드웨어 리소스를 사용할 수 있게 되