Googles senaste tillägg av kontextcachelagring till deras Gemini-API syftar till att hantera några av de stora begränsningarna hos språkmodeller med lång kontext (LLM). Även om LLM kan hålla en betydande mängd information, lider de av flera problem:

• Ökad bearbetningstid: Med varje fråga måste hela kontexten skickas till LLM, vilket resulterar i bearbetning av en stor mängd data, vilket ökar bearbetningstiden.
• Hög fördröjning: De stora dataöverföringar som krävs för varje fråga leder till hög fördröjning.
• Högre kostnader: Eftersom API-leverantörer debiterar baserat på antalet tokens leder den ökade dataöverföringen till högre kostnader.

Googles kontextcachelagringsfunktion försöker minska dessa problem. Här är hur det fungerar:

1. Initiera cachen: Du tillhandahåller en systemanvisning eller en stor kontext (t.ex. dokument, videofiler, ljudfiler) som du vill cachelagra.
2. Cacheidentifiering: Varje cache har en unik identifierare, som kan ses som cachens namn, och en "time to live"-parameter för att bestämma cachens utgångstid.
3. Cacheåtkomst: När Gemini-API:t tar emot en användarfråga analyserar det de tillgängliga cacheuppsättningarna, hämtar lämplig cache och kombinerar den med användarens fråga för bearbetning.

Denna metod erbjuder flera fördelar:

• Minskad bearbetningstid: Genom att återanvända den cachade datan behöver systemet bara bearbeta användarens fråga, vilket minskar den totala bearbetningstiden.
• Lägre fördröjning: Att endast skicka användarens fråga, istället för hela kontexten, resulterar i lägre fördröjning.
• Kostnadsbesparingar: Att minska antalet tokens som skickas med varje fråga leder till lägre kostnader.

Google hävdar att användning av cachelagring för upp till 2 128 000 tokens kan resultera i nästan fyra gånger lägre kostnad jämfört med att skicka hela kontexten med varje fråga.

Det är viktigt att notera att det finns vissa begränsningar och överväganden när man använder kontextcachelagring:

• Minsta antal indatatoken: Det minsta antalet indatatoken för kontextcachelagring är för närvarande satt till 32 000 tokens.
• Maximalt antal tokens: Det maximala antalet tokens som kan cachelagras begränsas av modellens maximala kontextfönster, vilket är runt 2 miljoner tokens för både Gemini Pro- och Flash-modellerna.
• Lagringskostnad: Det finns en lagringskostnad förknippad med det cachade innehållet, vilket är 1 dollar per miljon tokens per timme.