Программа курса Урок 181 из 250 · Внедрение LLM в продакшн: Стоимость, кэширование и защитные барьеры
Внедрение LLM в продакшн: Стоимость, кэширование и защитные барьеры

Кэширование промптов на стороне провайдера

Прошлый урок пропускал модель при повторном запросе. Этот делает сам запрос дешевле. Большинство провайдеров предлагают prompt caching: вы помечаете стабильный префикс вашего prompt, и при следующем вызове, который его использует, провайдер пропускает повторную обработку этих токенов и выставляет счет с большой скидкой. Это другой рычаг по сравнению с response cache, который вы только что построили:

  • Response cache (прошлый урок): весь ответ используется повторно, поэтому вы полностью пропускаете вызов. Работает только когда question повторяется.
  • Prompt cache (этот урок): вызов все равно происходит и вы все равно получаете свежий ответ, но общий prefix стоит дешевле. Работает даже когда каждый вопрос разный.

Что должно быть в кэшированном префиксе? Большие, стабильные вещи, которые сопровождают каждый вызов: длинный системный промпт, определения инструментов, примеры few-shot, извлеченный документ, о котором вы зададите несколько вопросов. Вы помещаете переменную часть (реальный вопрос пользователя) после кэшированной точки разрыва. С Anthropic вы помечаете границу блоком cache_control:

system=[{"type": "text", "text": LONG_SYSTEM_PROMPT,
         "cache_control": {"type": "ephemeral"}}]

Экономика включает три ставки, все относительно нормальной цены ввода. Кэш write (первый вызов, который сохраняет префикс) стоит около 1.25x ввода. Кэш read (поздний вызов, который попадает в сохраненный префикс) стоит около 0.1x ввода. Промах это просто 1x. Запись живет несколько минут и ее таймер обновляется при каждом попадании, поэтому активный префикс остается теплым. Три практических ограничения: префикс короче минимума модели (несколько сотен до нескольких тысяч токенов, в зависимости от модели) тихо не кэшируется; кэш это совпадение префикса, поэтому изменение любого байта в начале промпта (например, метка времени в системном промпте) аннулирует все, что идет после него; и каждый кэш принадлежит одной модели, поэтому смена моделей начинается с холодного старта. Проверьте usage.cache_read_input_tokens в ответе, чтобы увидеть, получили ли вы попадания. Точка окупаемости быстрая: если большой префикс используется хотя бы несколько раз, одноразовая запись 1.25x ничтожна по сравнению с оплатой 0.1x вместо 1x при каждом повторном использовании.

Вы построите модель стоимости, которая решает, выгодно ли кэшировать префикс.

Твоя очередь

Моделируй экономику. Цены в долларах за 1,000,000 токенов; используйте 3.0 для входных данных и 15.0 для выходных. (1) uncached_cost(prefix_tokens, variable_tokens, output_tokens, calls): каждый вызов оплачивает полную входную цену на prefix_tokens + variable_tokens плюс выходную цену на output_tokens, умноженную на calls. (2) cached_cost(prefix_tokens, variable_tokens, output_tokens, calls): префикс записывается один раз по цене 1.25x на вход, затем читается на оставшихся calls - 1 вызовах по цене 0.1x на вход; переменные токены всегда оплачивают полную входную цену, а выход всегда оплачивает полную выходную цену на каждом вызове. Предположи calls >= 1. (3) caching_saves(prefix_tokens, variable_tokens, output_tokens, calls) возвращает True, когда cached_cost строго меньше uncached_cost. Возвращайте простые числа с плавающей точкой (доллары).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.