로컬 GPT에서 Llama-3을 시작하려면 다음 단계를 따르세요:

1. "Code" 버튼을 클릭하고 URL을 복사하여 LocalGPT 리포지토리를 복제하세요. 터미널을 열고 원하는 디렉토리로 이동한 후 git clone <URL>을 실행하세요.

2. Llama-3 모델을 위한 전용 폴더를 만드세요. 예를 들어 local-gpt-llama3이라고 할 수 있습니다.

3. cd local-gpt-llama3를 실행하여 새로 생성된 디렉토리로 이동하세요.

4. conda create -n local-three python=3.10를 실행하여 가상 환경을 만들고 conda activate local-three로 활성화하세요.

5. pip install -r requirements.txt를 실행하여 필요한 패키지를 설치하세요. 이렇게 하면 Llama CPP 패키지를 제외한 모든 필요한 패키지가 다운로드됩니다.

6. 하드웨어(Nvidia GPU 또는 Apple Silicon)에 따라 제공된 명령어를 사용하여 적절한 Llama CPP 패키지를 설치하세요.

7. Visual Studio Code에서 프로젝트를 열고 터미널에서 가상 환경을 활성화하세요.

8. constants.py 파일을 수정하여 사용할 모델을 지정하세요. Meta의 비양자화된 Llama-3 모델의 경우 모델 ID를 제공하고 base name은 None으로 유지하세요.

9. Meta의 게이트된 Llama-3 모델을 사용하는 경우 Hugging Face CLI를 사용하여 Hugging Face 계정에 로그인해야 합니다. 액세스 토큰을 얻고 로그인하는 지침을 따르세요.

10. ingest.py 스크립트를 실행하여 LocalGPT에서 제공된 예제 문서를 수집하세요.

11. python run_local_gpt.py를 실행하여 채팅 세션을 시작하세요. 모델이 로드되면 수집된 문서와 관련된 질문을 할 수 있습니다.

12. prompt_template_utils.py 파일에서 프롬프트 템플릿 옵션을 탐색하고 필요에 따라 프롬프트를 사용자 지정하세요.

이제 LocalGPT 환경에서 Llama-3을 사용할 준비가 되었습니다. 안전하고 개인적이며 로컬 언어 모델 경험을 즐기세요.

먼저 리포지토리를 복제해야 합니다. "Code" 버튼을 클릭하고 URL을 복사한 다음 터미널을 열고 다음 명령어를 입력하여 리포지토리를 복제하세요:

git clone <repository_url>

다음으로 Lama 3 모델을 위한 전용 폴더를 만들겠습니다. "local-gpt"나 유사한 이름으로 지정할 수 있습니다:

mkdir local-gpt
cd local-gpt

이제 프로젝트의 종속성을 관리하기 위해 가상 환경을 만들어야 합니다. 이를 위해 conda를 사용할 것입니다:

conda create -n local-3 python=3.10

이렇게 하면 Python 3.10을 사용하는 "local-3"이라는 새로운 가상 환경이 생성됩니다.

가상 환경을 활성화하려면 다음을 실행하세요:

conda activate local-3

이제 터미널 프롬프트에 가상 환경 이름이 표시되어 활성화되었음을 알 수 있습니다.

다음으로 필요한 패키지를 설치해야 합니다. 다음 명령어를 실행하여 이를 수행할 수 있습니다:

pip install -r requirements.txt

이렇게 하면 Lama CPP 패키지를 제외한 모든 필요한 패키지가 설치됩니다. Nvidia GPU 또는 Apple Silicon을 사용하는지에 따라 다른 명령어를 실행하여 Lama CPP를 설치해야 합니다:

Nvidia GPU의 경우:

pip install git+https://github.com/ggerganov/llama.cpp.git

Apple Silicon의 경우:

pip install git+https://github.com/ggerganov/llama.cpp.git@apple

설치가 완료되면 Local GPT 프로젝트에서 Lama 3 모델을 사용할 준비가 되었습니다.

Local GPT에서 Lama 3을 시작하려면 먼저 필요한 패키지를 설치해야 합니다. 다음과 같이 진행할 수 있습니다:

1. "Code" 버튼을 클릭하고 URL을 복사하여 Local GPT 리포지토리를 복제합니다. 그런 다음 터미널을 열고 다음 명령어를 실행하여 리포지토리를 복제합니다:

   git clone <repository_url>
   

2. 복제된 디렉토리로 이동한 후 Lama 3 모델을 위한 전용 폴더를 만듭니다:

   cd local-gpt
   mkdir lama3
   cd lama3
   

3. conda를 사용하여 가상 환경을 만들고 필요한 패키지를 설치합니다:

   conda create -n lama3 python=3.10
   conda activate lama3
   pip install -r requirements.txt
   

4. Nvidia GPU 또는 Apple Silicon을 사용하는지에 따라 적절한 Lama CPP 패키지를 설치합니다:

   • Nvidia GPU의 경우:

     pip install git+https://github.com/ggerganov/llama.cpp.git
     

   • Apple Silicon의 경우:

     pip install git+https://github.com/ggerganov/llama.cpp.git@apple
     

5. 설치가 완료되면 Local GPT에서 Lama 3을 사용할 준비가 되었습니다.

Local GPT 프로젝트 내에서 Llama-3 모델을 구성하려면 다음 단계를 따르세요:

1. constants.py 파일을 열고 model_id와 model_base_name 변수를 찾으세요.
2. 비양자화된 모델을 사용하는 경우 모델 ID만 제공하면 됩니다. 이는 Hugging Face 리포지토리의 주소입니다. 예를 들어 Llama-38B 모델을 사용하려면 모델 ID는 "decapoda-research/llama-38b-hf"가 됩니다.
3. 양자화된 모델을 사용하려면 사용할 특정 양자화 수준의 .ggf 파일 이름도 제공해야 합니다. 예를 들어 "decapoda-research/llama-38b-hf-quantized-ggml-q4_0.ggf"입니다.
4. Meta 버전의 Llama-3 모델을 사용하는 경우 Hugging Face Hub 계정에 로그인해야 합니다. 다음 명령어를 터미널에서 실행하여 이를 수행할 수 있습니다:

   hugging-face-cli login
   

   그리고 프롬프트에 Hugging Face 액세스 토큰을 입력하세요.
5. 모델 구성이 완료되면 파일을 수집하고 Local GPT 프로젝트를 사용하여 모델과 채팅을 시작할 수 있습니다.

Local GPT의 지식 베이스를 준비하고 파일을 수집하려면 다음 단계를 따르세요:

1. 이전에 생성한 가상 환경을 활성화합니다:

   conda activate local_3
   

2. ingest.py 스크립트를 실행하여 파일을 수집합니다:

   python ingest.py
   

   이렇게 하면 수집 프로세스가 시작되고 문서가 청크로 분할됩니다. 기본적으로 instructor-large 임베딩 모델을 사용하지만 constants.py 파일을 수정하여 모델을 변경할 수 있습니다.

3. Meta Lama 3 모델과 같은 게이트된 모델을 사용하는 경우 Hugging Face CLI를 사용하여 Hugging Face 계정에 로그인해야 합니다:

   hugging-face-cli login
   

   프롬프트에 Hugging Face 액세스 토큰을 입력하세요.

4. 수집이 완료되면 run_local_gpt.py 스크립트를 실행하여 문서와 채팅을 시작할 수 있습니다:

   python run_local_gpt.py
   

   이렇게 하면 모델이 로드되고 지식 베이스와 상호 작용할 수 있습니다.

5. 다른 프롬프트 템플릿을 사용하려면 prompt_template_utils.py 파일을 수정할 수 있습니다. 사용 가능한 프롬프트 템플릿은 run_local_gpt.py 파일에 나열되어 있습니다.

이제 Lama 3 모델과 수집된 문서를 사용하여 Local GPT를 사용할 준비가 되었습니다.

LocalGPT를 사용하여 문서와 채팅하려면 다음 단계를 따르세요:

1. 이전에 생성한 가상 환경을 활성화합니다:

   conda activate local_3
   

2. python run_local_gpt.py 명령어를 실행하여 채팅 인터페이스를 시작합니다. 이렇게 하면 모델이 로드되고 문서 상호 작용을 준비합니다.

3. 모델이 로드되면 문서와 관련된 질문을 할 수 있습니다. 예를 들어 "Instruction tuning이 무엇입니까?"와 같은 질문을 할 수 있습니다.

4. 모델은 문서의 내용을 기반으로 응답을 생성합니다. 응답은 간결하고 질문에 직접적으로 답변합니다.

5. 다양한 질문을 계속 하여 문서의 내용을 탐색하고 LocalGPT 인터페이스에서 통찰력을 얻을 수 있습니다.

모든 처리는 로컬 컴퓨터에서 이루어지므로 데이터의 프라이버시와 보안이 보장됩니다.

Local GPT는 계속 발전하고 있으며 프로젝트 관리자들은 여러 가지 새로운 기능과 개선 사항을 작업하고 있습니다. 주요 향후 발전 사항에는 다음이 포함됩니다:

1. 고급 검색 기술: 쿼리 확장, 컨텍스트 확장, 랭킹 등 더 발전된 검색 기술을 포함하도록 코드베이스가 재작성되고 있습니다. 이러한 기술을 통해 모델이 지식 베이스에서 관련 정보를 더 잘 검색하고 활용할 수 있게 되어 더 정확하고 정보가 풍부한 응답을 생성할 수 있습니다.

2. 향상된 프롬프트 템플릿: 프로젝트 관리자들은 적절한 프롬프트 템플릿을 사용하는 것이 Llama 3, Mistral 등 다양한 언어 모델에서 모델 성능에 중요하다는 것을 관찰했습니다. 그들은 Llama 3, Mistral 및 기타 모델에 대한 특정 프롬프트 템플릿을 추가하여 모델이 예상된 형식을 따르고 고품질 응답을 생성