Кэширование промптов на стороне провайдера
Прошлый урок пропускал модель при повторном запросе. Этот делает сам запрос дешевле. Большинство провайдеров предлагают prompt caching: вы помечаете стабильный префикс вашего prompt, и при следующем вызове, который его использует, провайдер пропускает повторную обработку этих токенов и выставляет счет с большой скидкой. Это другой рычаг по сравнению с response cache, который вы только что построили:
- Response cache (прошлый урок): весь ответ используется повторно, поэтому вы полностью пропускаете вызов. Работает только когда question повторяется.
- Prompt cache (этот урок): вызов все равно происходит и вы все равно получаете свежий ответ, но общий prefix стоит дешевле. Работает даже когда каждый вопрос разный.
Что должно быть в кэшированном префиксе? Большие, стабильные вещи, которые сопровождают каждый вызов: длинный системный промпт, определения инструментов, примеры few-shot, извлеченный документ, о котором вы зададите несколько вопросов. Вы помещаете переменную часть (реальный вопрос пользователя) после кэшированной точки разрыва. С Anthropic вы помечаете границу блоком cache_control:
system=[{"type": "text", "text": LONG_SYSTEM_PROMPT,
"cache_control": {"type": "ephemeral"}}]Экономика включает три ставки, все относительно нормальной цены ввода. Кэш write (первый вызов, который сохраняет префикс) стоит около 1.25x ввода. Кэш read (поздний вызов, который попадает в сохраненный префикс) стоит около 0.1x ввода. Промах это просто 1x. Запись живет несколько минут и ее таймер обновляется при каждом попадании, поэтому активный префикс остается теплым. Три практических ограничения: префикс короче минимума модели (несколько сотен до нескольких тысяч токенов, в зависимости от модели) тихо не кэшируется; кэш это совпадение префикса, поэтому изменение любого байта в начале промпта (например, метка времени в системном промпте) аннулирует все, что идет после него; и каждый кэш принадлежит одной модели, поэтому смена моделей начинается с холодного старта. Проверьте usage.cache_read_input_tokens в ответе, чтобы увидеть, получили ли вы попадания. Точка окупаемости быстрая: если большой префикс используется хотя бы несколько раз, одноразовая запись 1.25x ничтожна по сравнению с оплатой 0.1x вместо 1x при каждом повторном использовании.
Вы построите модель стоимости, которая решает, выгодно ли кэшировать префикс.
Моделируй экономику. Цены в долларах за 1,000,000 токенов; используйте 3.0 для входных данных и 15.0 для выходных. (1) uncached_cost(prefix_tokens, variable_tokens, output_tokens, calls): каждый вызов оплачивает полную входную цену на prefix_tokens + variable_tokens плюс выходную цену на output_tokens, умноженную на calls. (2) cached_cost(prefix_tokens, variable_tokens, output_tokens, calls): префикс записывается один раз по цене 1.25x на вход, затем читается на оставшихся calls - 1 вызовах по цене 0.1x на вход; переменные токены всегда оплачивают полную входную цену, а выход всегда оплачивает полную выходную цену на каждом вызове. Предположи calls >= 1. (3) caching_saves(prefix_tokens, variable_tokens, output_tokens, calls) возвращает True, когда cached_cost строго меньше uncached_cost. Возвращайте простые числа с плавающей точкой (доллары).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.