대규모 언어 모델의 문맥 창 확장은 중요한 기능과 사용 사례를 열어줍니다. Leo가 설명한 바와 같이, 더 큰 문맥 창은 모델이 시험 전에 주제를 빠르게 공부하는 것처럼 더 많은 정보를 "작업 메모리"에 유지할 수 있게 합니다. 이를 통해 모델은 더 광범위한 정보 집합에 걸쳐 더 복잡한 추론과 종합을 수행할 수 있습니다.

더 긴 문맥 창의 주요 이점은 다음과 같습니다:

• 효율성 및 오버헤드 감소: 정보를 더 작은 청크로 나누어 순차적으로 모델에 공급할 필요 없이, 더 긴 문맥 창을 통해 모델이 전체 문맥을 한 번에 처리할 수 있습니다. 이를 통해 전처리, 요약 및 기타 오버헤드 작업이 줄어듭니다.

• 더 깊은 이해: 더 많은 문맥을 사용할 수 있게 되면 모델이 다양한 정보 조각 간의 관계와 연결을 더 잘 이해할 수 있습니다. 이는 코드 생성과 같은 사용 사례에 특히 강력한데, 모델이 단일 파일이나 함수가 아닌 전체 코드베이스나 프로젝트를 이해할 수 있기 때문입니다.

• 멀티모달 통합: 더 긴 문맥 창을 통해 모델은 텍스트, 이미지, 비디오 등 다양한 데이터 소스를 섭취하고 추론할 수 있습니다. 이는 여러 모달리티의 정보를 교차 참조하고 종합해야 하는 작업에 새로운 가능성을 열어줍니다.

더 긴 문맥 창을 달성하는 과제는 주로 계산 효율성과 모델이 추가 문맥을 효과적으로 활용할 수 있도록 하는 것입니다. Leo가 설명한 바와 같이, 캐싱 및 주의력 계산 최적화와 같은 기술이 이러한 모델을 실용적이고 성능이 좋게 만드는 데 핵심적입니다.

전반적으로, 더 긴 문맥 창으로 작업할 수 있는 능력은 대규모 언어 모델의 기능에 있어 중요한 진보를 나타냅니다. 이를 통해 점점 더 복잡한 실제 세계 문제를 해결할 수 있는 강력하고 유연하며 상황 인식적인 AI 어시스턴트를 만들 수 있습니다.

일반적인 4-8K 토큰을 넘어 대규모 언어 모델의 문맥 창을 확장하는 것은 상당한 계산 과제를 야기합니다. 핵심 병목 현상은 토큰 수에 따라 2차적으로 증가하는 주의력 계산에 있습니다.

이를 해결하기 위해 Gradient 팀은 장기 문맥 모델 학습을 훨씬 더 효율적으로 만드는 새로운 기술을 개발했습니다 - 이전 연구 대비 계산 시간은 최대 30배, 샘플 효율은 100배 더 효율적입니다. 이를 통해 그들은 100만 토큰 문맥 창을 가진 Llama 3 모델을 성공적으로 학습할 수 있었습니다.

이 과정에는 모델이 그러한 긴 문맥을 효과적으로 이해하고 추론할 수 있도록 하는 포지셔널 인코딩을 신중하게 설계하는 것이 포함됩니다. 또한 팀은 여러 쿼리에 걸쳐 주의력 계산을 재사용하는 캐싱 전략을 구현하여 실시간 계산 부담을 줄였습니다.

이러한 장기 문맥 모델을 사용하는 것은 기본 4-8K 버전보다 더 계산 집약적이지만, 팀은 더 짧은 문맥에 대한 성능이 저하되지 않도록 했습니다. 이를 통해 사용자는 필요에 따라 짧은 문맥과 긴 문맥 모드 간을 원활하게 전환할 수 있습니다.

이러한 장기 문맥 기능을 벤치마크하기 위해 팀은 "Needle in a Haystack"과 "Ruler" 벤치마크와 같은 고급 평가 스위트를 활용합니다. 이는 단순한 검색 작업을 넘어서, 긴 문맥에 걸쳐 산재된 정보를 종합하는 모델의 능력을 테스트합니다.

앞으로 Gradient 팀은 인간 뇌가 정보를 선택적으로 접근하는 방식에서 영감을 얻어 이러한 장기 문맥 모델의 메모리 효율성을 더 개선하는 것에 대해 흥분하고 있습니다. 이러한 강력한 장기 문맥 기능에 대한 접근성을 민주화하는 것이 주요 초점 분야입니다.

Llama 3와 같은 대규모 언어 모델의 문맥 창을 확장하는 과정에는 여러 가지 핵심적인 고려 사항이 있습니다. 먼저, 단일 GPU에서 장기 문맥 모델을 실행하면 비용이 많이 들 수 있는 계산 과제를 해결해야 합니다. Gradient 팀은 학습 프로세스의 효율성을 개선하여 이전 연구 대비 최대 100배의 샘플 효율 향상을 달성했습니다.

문맥 길이를 확장하려면 모델에게 더 긴 텍스트 시퀀스를 이해하고 추론하는 새로운 기술을 가르쳐야 합니다. 이는 원래 모델 학습과 유사한 학습 프로세스를 통해 수행되며, 모델이 10, 100 또는 100만 토큰 떨어진 토큰을 구분할 수 있도록 포지셔널 인코딩에 중점을 둡니다.

이러한 장기 문맥 모델의 성능을 벤치마크할 때, "Needle in a Haystack" 작업은 좋은 출발점이 됩니다. 여기서 모델은 큰 문맥 내에 묻힌 작은 정보 조각을 찾아야 합니다. 그러나 이는 모델의 연관 회상 능력만 테스트합니다. 모델이 큰 문맥의 다른 부분에서 정보를 교차 참조하고 종합하는 능력을 더 잘 평가하려면 Nvidia의 "Ruler" 벤치마크와 같은 것이 더 적합합니다.

Ruler는 여러 개의 바늘 찾기부터 변수 추적 등 13가지 다양한 작업을 제시합니다. 이러한 유형의 벤치마크는 대규모 코드베이스나 기타 복잡한 다부분 정보에 대한 이해와 추론과 같은 장기 문맥 모델의 실제 사용 사례를 더 잘 반영합니다.

Gradient의 Llama 100만 토큰 버전과 같은 현재의 장기 문맥 모델은 이러한 벤치마크에서 잘 수행하지만, 문맥 길이가 계속 늘어남에 따라 개선의 여지가 여전히 있습니다. 팀은 이러한 모델을 더 실용적이고 접근 가능하게 만들기 위해 메모리 효율적인 기술을 탐구하고 있습니다. 대규모 언어 모델 분야가 계속 발전함에 따라 더 긴 문맥으로 작업하고 추론할 수 있는 능력이 핵심 초점 분야가 될 것입니다.

대규모 언어 모델 분야의 발전에 있어 두 가지 주요 영역이 주목을 받고 있습니다: 메모리 효율성과 멀티모달리티.

메모리 효율성:

• 100만 토큰 문맥 창을 가진 대규모 언어 모델을 제공하는 것은 상당한 계산 과제를 야기합니다.
• 캐싱 및 메모리의 선택적 압축 해제와 같은 기술은 이러한 모델을 더 메모리 효율적이고 실용적으로 배포할 수 있게 해줍니다.
• 목표는 인간 뇌가 전체 교과서 분량의 데이터를 작업 메모리에 유지하는 것이 아니라 관련 정보만 선택적으로 접근하는 것처럼 모방하는 것입니다.
• 메모리 효율적인 알고리즘을 개발하는 것이 대규모 문맥 모델을 널리 접근 가능하고 사용 가능하게 만드는 데 핵심적일 것입니다.

멀티모달리티:

• 텍스트, 이미지, 심지어 비디오와 같은 다중 모달리티를 통합하고 추론할 수 있는 능력은 대규모 언어 모델의 핵심 영역입니다.
• 30분 동영상 전체를 문맥 창에 넣고 모델이 내용을 이해하고 추론할 수 있게 하는 것은 새로운 가능성을 열어줍니다.
• 이러한 멀티모달 이해는 코드 생성과 코드베이스 통합, 다양한 정보 소스에서 질문에 답변하는 등 강력한 응용 프로그램을 가능하게 합니다.
• 멀티모달 기능을 발전시키려면 추가 연구와 혁신이 필요하지만, 그 잠재적 이점은 상당합니다.

전반적으로, 대규모 언어 모델의 미래는 더 메모리 효율적이고 멀티모달이 되는 것입니다. 이러한 과제를 해결함으로써 연구 커뮤니티는 언어 이해와 추론의 새로운 수준을 열어 다양한 산업에 걸쳐 혁신적인 응용 프로그램을 가능하게 할 수 있습니다.

대규모 언어 모델의 문맥 창을 확장할 수 있는 능력은 자연어 처리 분야에서 중요한 진보입니다. Leo가 논의한 바와 같이, 더 큰 문맥 창을 통해 모델은 "작업 메모리"에 더 많은 정보를 유지할 수 있어, 더 광범위한 데이터 집합에 걸쳐 더 복잡한 추론과 종합을 수행할 수 있습니다.

더 큰 문맥 창의 주요 이점은 다음과 같습니다:

• 코딩 지원 향상: 전체 코드베이스나 여러 리포지토리를 참조할 수 있게 하면 더 정교한 코드 생성과 통합이 가능합니다.
• 멀티모달 기능 향상: 더 긴 텍스트, 이미지 또는 동영상을 문맥 창에 맞출 수 있어 이러한 모델의 새로운 사용 사례를 열어줍니다.
• 효율성 증가: 청크화와 전처리 필요성을 줄여 대규모 언어 모델과의 상호 작용을 더 원활하고 반응적으로 만들 수 있습니다.

문맥 창을 확장하는 것은 계산 과제를 제시하지만, Gradient 팀의 작업은 핵심 모델 성능을 희생하지 않고도 문맥 길이를 크게 늘릴 수 있음을 보여줍니다. 이 분야의 연구와 개발이 계속됨에