대규모 언어 모델 학습에는 일반적으로 세 가지 단계가 있습니다:

1. 사전 학습: 이 단계에서 모델은 대량의 원시 텍스트 데이터로 학습하여 다음 토큰이나 단어를 예측하는 방법을 익힙니다. 그 결과 모델은 텍스트에서 많은 일반적인 지식을 습득하지만, 특정 작업에는 아직 유용하지 않습니다.

2. 지도 학습 미세 조정: 기본 모델을 더 유용하게 만들기 위해 두 번째 단계는 지도 학습 미세 조정입니다. 이 단계에서 모델은 질문-답변 쌍 또는 지시-답변 쌍으로 학습됩니다. 입력은 질문이나 지시이고 출력은 원하는 응답이나 답변입니다. 이 단계를 통해 모델은 작업별 지식과 기능을 학습할 수 있습니다.

3. 선호도 정렬: 선택적인 세 번째 단계는 선호도 정렬로, 모델이 사용자 선호도에 따라 응답을 학습하거나 특정 원칙에 맞추도록 학습됩니다. 이는 종종 인간 피드백 강화 학습(RLHF) 또는 토론 정책 최적화(DPO)와 같은 기술을 사용하여 수행됩니다.

이 비디오의 목표는 지도 학습 미세 조정 단계, 특히 Unsloth 라이브러리를 사용하여 Llama 3.1 모델을 미세 조정하는 방법에 초점을 맞추고 있습니다. 이 비디오에서는 전체 미세 조정, LoRA, QLoRA와 같은 다양한 미세 조정 기술과 성능 및 메모리 요구 사항 측면에서의 절충점을 다룰 것입니다.