강의 계획 레슨 250개 중 179번째 · LLM 실무화: 비용, 캐싱, 가드레일
LLM 실무화: 비용, 캐싱, 가드레일

맥락 창 예산 관리기

모든 모델에는 한정된 맥락 창이 있어요: 한 번의 호출에서 읽을 수 있는 최대 토큰이에요. 긴 채팅 기록은 결국 그것을 넘치고, 호출은 오류를 내거나 조용히 잘려요. 실무 해결책은 보내기 전에 대화를 다듬는 예산 관리기예요.

표준 정책은 단순하고 실전에서 검증됐어요: 시스템 메시지는 늘 지키고(절대 버리면 안 되는 지시와 인격을 싣고 있어요), 그다음 누적 토큰 추정이 예산에 들어갈 때까지 가장 오래된 보통 차례를 하나씩 버려요. 일관성에는 최근 차례가 가장 중요하니, 그것들이 마지막으로 빠져요.

메시지는 익숙한 채팅 형식처럼 생겼어요:

[
  {"role": "system",    "content": "You are a careful assistant."},
  {"role": "user",      "content": "What is the capital of France?"},
  {"role": "assistant", "content": "The capital of France is Paris."},
  {"role": "user",      "content": "And of Spain?"}
]

앞 레슨의 토큰 추정기(chars/4)가 이미 있어요. 여기서 estimate_tokens로 주어져요. 지킨 모든 메시지의 content에 걸쳐 그것을 더해 누계를 얻으세요.

fit_to_budget(messages, max_tokens)를 만드세요. 원래 순서로 메시지의 새 리스트를 돌려주되: 시스템 메시지는 언제나 지키고, 버릴 수 있을 때는 언제나 지킨 메시지의 총 추정 토큰이 <= max_tokens이고, 버려야 할 때는 시스템이 아닌 가장 오래된 메시지부터 버려요. 넉넉한 예산은 모든 걸 지켜요. 입력 리스트를 바꾸지 마세요.

내 차례

지킨 메시지를 원래 순서로 돌려주는 fit_to_budget(messages, max_tokens)를 쓰세요. 모든 시스템 메시지를 지키세요. 총 추정 토큰 수(각 content에 대한 estimate_tokens의 합)가 <= max_tokens가 될 때까지 시스템이 아닌 가장 오래된 메시지를 하나씩 버리세요. 넉넉한 예산은 아무것도 버리지 않고, 서로 다른 두 예산은 다른 집합을 지켜야 하고, 가장 최근 차례가 더 오래된 것보다 살아남아요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.