הוספה האחרונה של Google של אחסון הקשר לממשק ה-Gemini API שלה נועדה להתמודד עם חלק מהמגבלות העיקריות של דגמי שפה בעלי הקשר ארוך (LLMs). בעוד שLLMs יכולים להחזיק כמות משמעותית של מידע, הם סובלים ממספר בעיות:

• זמן עיבוד מוגבר: עם כל שאילתה, יש לשלוח את ההקשר כולו אל ה-LLM, מה שמביא לעיבוד כמות גדולה של נתונים, והגדלת זמן העיבוד.
• עיכוב גבוה: העברת נתונים גדולה הנדרשת לכל שאילתה מובילה לעיכוב גבוה.
• עלויות גבוהות יותר: מאחר שספקי ה-API חוייבים על פי מספר הטוקנים, העברת הנתונים הגדולה מובילה לעלויות גבוהות יותר.

תכונת אחסון ההקשר של Google מנסה להקל על בעיות אלה. להלן כיצד זה פועל:

1. אתחול המטמון: אתה מספק הוראת מערכת או הקשר גדול (למשל, מסמכים, קבצי וידאו, קבצי אודיו) שברצונך לאחסן במטמון.
2. זיהוי המטמון: לכל מטמון יש מזהה ייחודי, שניתן לחשוב עליו כשם המטמון, ופרמטר "זמן חיים" כדי לקבוע את תפוגת המטמון.
3. אחזור המטמון: כאשר ממשק ה-Gemini API מקבל שאילתת משתמש, הוא מנתח את מערכי הנתונים המטמונים הזמינים, אוחזר את המטמון המתאים, ומשלב אותו עם שאילתת המשתמש לצורך עיבוד.

גישה זו מציעה מספר יתרונות:

• זמן עיבוד מופחת: על ידי שימוש חוזר בנתונים המטמונים, המערכת צריכה לעבד רק את שאילתת המשתמש, מה שמקטין את זמן העיבוד הכולל.
• עיכוב נמוך יותר: שליחת רק שאילתת המשתמש, במקום ההקשר כולו, מובילה לעיכוב נמוך יותר.
• חיסכון בעלויות: הקטנת מספר הטוקנים המשולחים עם כל שאילתה מובילה לעלויות נמוכות יותר.

Google טוענת שהשימוש באחסון מטמון עבור עד 2,128,000 טוקנים יכול להביא לעלות נמוכה פי ארבעה לעומת שליחת ההקשר כולו עם כל שאילתה.

חשוב לשים לב שישנן מספר מגבלות ושיקולים בעת שימוש באחסון מטמון:

• מספר טוקנים מינימלי לקלט: המספר המינימלי של טוקנים לקלט לאחסון מטמון נקבע כרגע ל-32,000 טוקנים.
• מספר טוקנים מקסימלי: המספר המקסימלי של טוקנים שניתן לאחסן במטמון מוגבל על ידי החלון המקסימלי של ההקשר של הדגם, שהוא בסביבות 2 מיליון טוקנים עבור דגמי Gemini Pro וFlash.
• עלות אחסון: ישנה עלות אחסון הקשורה לתוכן המטמון, שהיא 1 דולר לכל מיליון טוקנים לשעה.

באופן כללי, תכונת אחסון ההקשר בממשק ה-Gemini API של Google היא תוספת חשובה שיכולה לשפר משמעותית את הביצועים והיעילות מבחינת העלויות של יישומים המבוססים על LLM, במיוחד עבור אלה המתמודדים עם כמויות גדולות של הקשר.