강의 계획 레슨 250개 중 181번째 · LLM 실무화: 비용, 캐싱, 가드레일
LLM 실무화: 비용, 캐싱, 가드레일

제공자 쪽 프롬프트 캐싱

지난 레슨은 요청이 반복될 때 모델을 건너뛰었어요. 이번에는 요청 자체를 싸게 만들어요. 대부분의 제공자는 프롬프트 캐싱을 제공해요: 프롬프트의 안정적인 앞부분을 표시하면, 그것을 다시 쓰는 다음 호출에서 제공자가 그 토큰을 다시 처리하지 않고 큰 할인으로 청구해요. 방금 만든 응답 캐시와는 다른 손잡이예요:

  • 응답 캐시(지난 레슨): 답 전체가 다시 쓰여서 호출을 아예 건너뛰어요. 질문이 반복될 때만 돼요.
  • 프롬프트 캐시(이번 레슨): 호출은 여전히 일어나고 새 답을 받지만, 공유된 앞부분이 싸져요. 모든 질문이 달라도 돼요.

캐시된 앞부분에는 무엇이 들어갈까요? 모든 호출에 따라붙는 크고 안정적인 것들: 긴 시스템 프롬프트, 도구 정의, 퓨샷 예시, 여러 질문을 할 검색된 문서. 변하는 부분(실제 사용자 질문)은 캐시 경계 뒤에 둬요. Anthropic에서는 cache_control 블록으로 경계를 표시해요:

system=[{"type": "text", "text": LONG_SYSTEM_PROMPT,
         "cache_control": {"type": "ephemeral"}}]

경제학에는 세 가지 요금이 있고, 모두 보통 입력 가격에 대한 상대값이에요. 캐시 쓰기(앞부분을 저장하는 첫 호출)는 입력의 약 1.25x예요. 캐시 읽기(저장된 앞부분에 적중하는 나중 호출)는 입력의 약 0.1x예요. 빗나감은 그냥 1x예요. 항목은 몇 분 동안 살고 적중할 때마다 타이머가 새로워지니, 바쁜 앞부분은 따뜻하게 유지돼요. 실용적인 한계 세 가지: 모델의 최소치(모델에 따라 수백에서 수천 토큰)보다 짧은 앞부분은 조용히 캐시되지 않아요. 캐시는 앞부분 일치라서, 프롬프트 앞쪽의 바이트 하나라도 바꾸면(예를 들어 시스템 프롬프트 속 타임스탬프) 그 뒤의 모든 게 무효가 돼요. 그리고 각 캐시는 모델 하나에 속하니, 모델을 바꾸면 차갑게 시작해요. 실제로 적중했는지 보려면 응답의 usage.cache_read_input_tokens를 확인하세요. 손익분기점은 빨라요: 큰 앞부분이 몇 번만 다시 쓰여도, 다시 쓸 때마다 1x 대신 0.1x를 내니 한 번의 1.25x 쓰기는 하찮아져요.

앞부분을 캐시하는 게 이득인지 정하는 비용 모형을 만들어요.

내 차례

경제학을 본뜨세요. 가격은 1,000,000토큰당 달러이고, 입력에는 3.0, 출력에는 15.0을 쓰세요. (1) uncached_cost(prefix_tokens, variable_tokens, output_tokens, calls): 모든 호출이 prefix_tokens + variable_tokens에 완전한 입력 가격과 output_tokens에 출력 가격을 내고, calls를 곱해요. (2) cached_cost(prefix_tokens, variable_tokens, output_tokens, calls): 앞부분은 입력 가격의 1.25x로 한 번 쓰이고, 남은 calls - 1번의 호출에서 입력 가격의 0.1x로 읽혀요. 변하는 토큰은 언제나 완전한 입력 가격을 내고, 출력은 언제나 모든 호출에서 완전한 출력 가격을 내요. calls >= 1이라고 가정하세요. (3) caching_saves(prefix_tokens, variable_tokens, output_tokens, calls)는 cached_cost가 uncached_cost보다 엄격하게 작을 때 True를 돌려줘요. 평범한 float(달러)를 돌려주세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.