Добавление Google кэширования контекста в их API Gemini направлено на решение некоторых основных ограничений моделей языка с длинным контекстом (LLM). Хотя LLM могут хранить значительное количество информации, они страдают от нескольких проблем:

• Увеличенное время обработки: С каждым запросом необходимо отправлять весь контекст в LLM, что приводит к обработке большого количества данных и увеличению времени обработки.
• Высокая задержка: Большие объемы данных, необходимые для каждого запроса, приводят к высокой задержке.
• Более высокие затраты: Поскольку поставщики API взимают плату в зависимости от количества токенов, увеличение передачи данных приводит к более высоким затратам.

Функция кэширования контекста Google пытается смягчить эти проблемы. Вот как это работает:

1. Инициализация кэша: Вы предоставляете системную инструкцию или большой контекст (например, документы, видеофайлы, аудиофайлы), который вы хотите кэшировать.
2. Идентификация кэша: Каждый кэш имеет уникальный идентификатор, который можно рассматривать как имя кэша, и параметр "время жизни", чтобы определить срок действия кэша.
3. Извлечение кэша: Когда API Gemini получает запрос пользователя, он анализирует доступные наборы данных кэша, извлекает соответствующий кэш и объединяет его с запросом пользователя для обработки.

Этот подход предлагает несколько преимуществ:

• Сокращение времени обработки: Повторное использование кэшированных данных позволяет системе обрабатывать только запрос пользователя, сокращая общее время обработки.
• Меньшая задержка: Отправка только запроса пользователя, а не всего контекста, приводит к меньшей задержке.
• Экономия затрат: Сокращение количества токенов, отправляемых с каждым запросом, приводит к снижению затрат.

Google утверждает, что использование кэширования для до 2 128 000 токенов может привести к почти четырехкратному снижению затрат по сравнению с отправкой всего контекста с каждым запросом.

Следует отметить, что при использовании кэширования контекста существуют некоторые ограничения и соображения:

• Минимальное количество входных токенов: Минимальное количество входных токенов для кэширования контекста в настоящее время установлено на уровне 32 000 токенов.
• Максимальное количество токенов: Максимальное количество токенов, которое можно кэшировать, ограничено максимальным окном контекста модели, которое составляет около 2 миллионов токенов как для модели Gemini Pro, так и для модели Gemini Flash.
• Стоимость хранения: Существует стоимость хранения кэшированного контента, которая составляет 1 доллар за миллион токенов в час.

В целом, функция кэширования контекста в API Google Gemini является ценным дополнением, которое может значительно улучшить производительность и рентабельность приложений, основанных на LLM, особенно для тех, которые имеют дело с большими объемами контекста.