Google의 Gemini API에 대한 최근 컨텍스트 캐싱 추가는 장문 컨텍스트 언어 모델(LLM)의 주요 한계를 해결하고자 합니다. LLM은 상당한 양의 정보를 보유할 수 있지만 다음과 같은 문제가 있습니다:

• 처리 시간 증가: 각 쿼리마다 전체 컨텍스트를 LLM에 보내야 하므로 많은 양의 데이터를 처리하게 되어 처리 시간이 증가합니다.
• 높은 지연 시간: 각 쿼리에 필요한 대량의 데이터 전송으로 인해 지연 시간이 높습니다.
• 더 높은 비용: API 제공업체가 토큰 수에 따라 요금을 부과하므로 데이터 전송 증가로 인해 비용이 높아집니다.

Google의 컨텍스트 캐싱 기능은 이러한 문제를 완화하고자 합니다. 작동 방식은 다음과 같습니다:

1. 캐시 초기화: 캐시하려는 시스템 지침 또는 대용량 컨텍스트(예: 문서, 비디오 파일, 오디오 파일)를 제공합니다.
2. 캐시 식별: 각 캐시에는 고유 식별자(캐시 이름)와 캐시 만료 시간을 결정하는 "Time to Live" 매개변수가 있습니다.
3. 캐시 검색: Gemini API가 사용자 쿼리를 받으면 사용 가능한 캐시 데이터세트를 분석하고 적절한 캐시를 검색하여 사용자 쿼리와 결합하여 처리합니다.

이 접근 방식은 다음과 같은 이점을 제공합니다:

• 처리 시간 감소: 캐시된 데이터를 재사용하여 사용자 쿼리만 처리하므로 전체 처리 시간이 감소합니다.
• 지연 시간 감소: 전체 컨텍스트 대신 사용자 쿼리만 보내므로 지연 시간이 감소합니다.
• 비용 절감: 각 쿼리에 보내는 토큰 수를 줄여 비용이 절감됩니다.

Google은 최대 2,128,000개의 토큰에 대해 캐싱을 사용하면 전체 컨텍스트를 매번 보내는 것에 비해 거의 4배 적은 비용이 든다고 주장합니다.

컨텍스트 캐싱을 사용할 때 다음과 같은 제한 사항과 고려 사항이 있습니다:

• 최소 입력 토큰 수: 컨텍스트 캐싱의 최소 입력 토큰 수는 현재 32,000개로 설정되어 있습니다.
• 최대 토큰 수: 캐시할 수 있는 최대 토큰 수는 모델의 최대 컨텍스트 창(약 200만 개 토큰)으로 제한됩니다.
• 저장 비용: 캐시된 콘텐츠에 대한 저장 비용은 시간당 백만 토큰당 $1입니다.

전반적으로 Google Gemini API의 컨텍스트 캐싱 기능은 LLM 기반 애플리케이션, 특히 대량의 컨텍스트를 다루는 애플리케이션의 성능과 비용 효율성을 크게 향상시킬 수 있는 가치 있는 추가 기능입니다.