כדי להתחיל עם Llama-3 בתוך LocalGPT, פעל לפי השלבים הבאים:

1. שכפל את מאגר הקוד של LocalGPT על-ידי לחיצה על הכפתור "Code" והעתקת הכתובת. פתח מסוף, נווט אל התיקייה הרצויה והרץ את הפקודה git clone <URL>.

2. צור תיקייה ייעודית עבור דגם Llama-3, לדוגמה local-gpt-llama3.

3. עבור אל התיקייה החדשה שנוצרה באמצעות cd local-gpt-llama3.

4. צור סביבת עבודה וירטואלית באמצעות conda create -n local-three python=3.10 והפעל אותה עם conda activate local-three.

5. התקן את החבילות הנדרשות על-ידי הרצת pip install -r requirements.txt. פעולה זו תוריד את כל החבילות הנחוצות, למעט חבילת Llama CPP.

6. בהתאם לחומרה שלך (כרטיס מסך Nvidia או Apple Silicon), התקן את חבילת Llama CPP המתאימה באמצעות הפקודות המסופקות.

7. פתח את הפרויקט ב-Visual Studio Code והפעל את הסביבה הוירטואלית במסוף.

8. ערוך את קובץ constants.py כדי לציין את הדגם שברצונך להשתמש בו. עבור דגם Llama-3 הלא-מקוטע של Meta, ספק את מזהה הדגם וותר על השם הבסיסי כ-None.

9. אם אתה משתמש בדגם Llama-3 המשוער של Meta, תצטרך להיכנס לחשבון Hugging Face שלך באמצעות ממשק השורה הפקודית של Hugging Face. פעל לפי ההוראות כדי להשיג אסימון גישה והיכנס.

10. הרץ את הסקריפט ingest.py כדי לקלוט את המסמך הדוגמה המסופק עם LocalGPT.

11. התחל את מושב השיחה על-ידי הרצת python run_local_gpt.py. הדגם יטען, ואז תוכל להתחיל לשאול שאלות הקשורות למסמך שנקלט.

12. חקור את אפשרויות תבנית הפרומפט בקובץ prompt_template_utils.py והתאם את הפרומפטים לפי הצורך.

זה הכל! כעת אתה מוכן להשתמש ב-Llama-3 בתוך סביבת LocalGPT. תהנה מחוויית דגם השפה המקומית, הפרטית והמאובטחת שלך.

ראשית, עלינו לשכפל את המאגר. לחץ על הכפתור "Code" והעתק את הכתובת. לאחר מכן, פתח מסוף והקלד את הפקודה הבאה כדי לשכפל את המאגר:

git clone <repository_url>

לאחר מכן, נצור תיקייה ייעודית עבור דגם Lama 3. אתה יכול לקרוא לה "local-gpt" או משהו דומה:

mkdir local-gpt
cd local-gpt

עכשיו, עלינו ליצור סביבת עבודה וירטואלית לניהול התלויות של הפרויקט. נשתמש ב-conda לצורך זה:

conda create -n local-3 python=3.10

פעולה זו תיצור סביבת עבודה וירטואלית חדשה בשם "local-3" עם Python 3.10.

כדי להפעיל את הסביבה הוירטואלית, הרץ:

conda activate local-3

עכשיו אתה אמור לראות את שם הסביבה הוירטואלית בפרומפט המסוף, מה שמציין שהיא פעילה.

הבא, עלינו להתקין את החבילות הנדרשות. אפשר לעשות זאת על-ידי הרצת:

pip install -r requirements.txt

פעולה זו תתקין את כל החבילות הנחוצות, למעט חבילת Lama CPP. בהתאם לכך אם אתה משתמש בכרטיס מסך Nvidia או Apple Silicon, תצטרך להריץ פקודה שונה להתקנת Lama CPP:

עבור כרטיס מסך Nvidia:

pip install git+https://github.com/ggerganov/llama.cpp.git

עבור Apple Silicon:

pip install git+https://github.com/ggerganov/llama.cpp.git@apple

לאחר השלמת ההתקנה, אתה מוכן להתחיל להשתמש בפרויקט GPT המקומי עם דגם Lama 3.

כדי להתחיל עם Lama 3 בתוך Local GPT, עלינו תחילה להתקין את החבילות הנדרשות. להלן כיצד ניתן לעשות זאת:

1. שכפל את מאגר Local GPT על-ידי לחיצה על הכפתור "Code" והעתקת הכתובת. לאחר מכן, פתח מסוף והרץ את הפקודה הבאה כדי לשכפל את המאגר:

   git clone <repository_url>
   

2. צור תיקייה ייעודית עבור דגם Lama 3 על-ידי מעבר אל התיקייה המשוכפלת וביצוע יצירת תיקייה חדשה:

   cd local-gpt
   mkdir lama3
   cd lama3
   

3. צור סביבת עבודה וירטואלית באמצעות conda והתקן את החבילות הנדרשות:

   conda create -n lama3 python=3.10
   conda activate lama3
   pip install -r requirements.txt
   

4. בהתאם לכך אם אתה משתמש בכרטיס מסך Nvidia או Apple Silicon, התקן את חבילת Lama CPP המתאימה:

   • עבור כרטיס מסך Nvidia:

     pip install git+https://github.com/ggerganov/llama.cpp.git
     

   • עבור Apple Silicon:

     pip install git+https://github.com/ggerganov/llama.cpp.git@apple
     

5. לאחר השלמת ההתקנה, אתה מוכן להתחיל להשתמש ב-Lama 3 בתוך Local GPT.

כדי להגדיר את דגם Llama-3 בתוך פרויקט GPT המקומי, פעל לפי השלבים הבאים:

1. פתח את קובץ constants.py ומצא את המשתנים model_id ו-model_base_name.
2. אם אתה משתמש בדגם לא-מקוטע, פשוט ספק את מזהה הדגם, שהוא כתובת מאגר Hugging Face. לדוגמה, אם ברצונך להשתמש בדגם Llama-38B, מזהה הדגם יהיה "decapoda-research/llama-38b-hf".
3. אם ברצונך להשתמש בדגם מקוטע, תצטרך גם לספק את שם הקובץ .ggf עבור רמת הקיטוע הספציפית שברצונך להשתמש בה. לדוגמה, "decapoda-research/llama-38b-hf-quantized-ggml-q4_0.ggf".
4. אם אתה משתמש בגרסת Meta של דגם Llama-3, תצטרך להיכנס לחשבון Hugging Face Hub שלך. ניתן לעשות זאת על-ידי הרצת הפקודה הבאה במסוף:

   hugging-face-cli login
   

   לאחר מכן, ספק את אסימון הגישה של Hugging Face כאשר תתבקש.
5. לאחר שהגדרת את הדגם, תוכל להמשיך לקלוט את הקבצים שלך ולהתחיל לשוחח עם הדגם באמצעות פרויקט GPT המקומי.

כדי לקלוט קבצים והכין את מאגר הידע עבור GPT המקומי, פעל לפי השלבים הבאים:

1. הפעל את הסביבה הוירטואלית שנוצרה קודם:

   conda activate local_3
   

2. הרץ את הסקריפט ingest.py כדי לקלוט את הקבצים:

   python ingest.py
   

   פעולה זו תתחיל את תהליך הקליטה וחלוקת המסמכים לקטעים. כברירת מחדל, היא משתמשת בדגם ההטמעה instructor-large, אך באפשרותך לשנות את הדגם על-ידי עריכת קובץ constants.py.

3. אם אתה משתמש בדגם משוער כמו דגם Lama 3 של Meta, תצטרך להיכנס לחשבון Hugging Face שלך באמצעות ממשק השורה הפקודית של Hugging Face:

   hugging-face-cli login
   

   ספק את אסימון הגישה של Hugging Face כאשר תתבקש.

4. לאחר השלמת הקליטה, תוכל להתחיל לשוחח עם המסמכים על-ידי הרצת הסקריפט run_local_gpt.py:

   python run_local_gpt.py
   

   פעולה זו תטען את הדגם ותאפשר לך לאזור את מאגר הידע.

5. אם ברצונך להשתמש בתבנית פרומפט שונה, באפשרותך לערוך את קובץ prompt_template_utils.py. התבניות הפרומפט הזמינות מפורטות בקובץ run_local_gpt.py.

זה הכל! כעת אתה מוכן להשתמש ב-GPT המקומי עם דגם Lama 3 ובמסמכים שקלטת.

כדי להתחיל לשוחח עם המסמך באמצעות LocalGPT, פעל לפי השלבים הבאים:

1. הפעל את הסביבה הוירטואלית שיצרת קודם:

   conda activate local_3
   

2. הרץ את הפקודה python run_local_gpt.py כדי להתחיל את ממשק השיחה. פעולה זו תטען את הדגם ותכין את המסמך לאינטראקציה.

3. לאחר שהדגם יטען, תוכל להתחיל לשאול שאלות הקשורות למסמך. לדוגמה, ניתן לשאול "מהי כוונון הוראה?" כדי לקבל מידע על נושא זה מההקשר המסופק.

4. הדגם יייצר תגובות בהתבסס על תוכן המסמך. התגובות יהיו קצרות וישיבו ישירות על השאלה שנשאלה.

5. ניתן להמשיך לשאול שאלות שונות כדי לחקור את תוכן המסמך ולקבל תובנות מממשק LocalGPT.

זכור, כל העיבוד מתבצע מקומית במחשב שלך, מה שמבטיח את הפרטיות והאבטחה של הנתונים שלך.

Local GPT נמצא בהתפתחות מתמדת, והמתחזקים של הפרויקט עובדים על מספר תכונות חדשות ושיפורים מרגשים. חלק מההתקדמויות המפתיעות העיקריות כוללות:

1. טכניקות אחזור מתקדמות: הקוד מתוכנן מחדש כדי לשלב טכניקות אח