맥락 창 예산 관리기
모든 모델에는 한정된 맥락 창이 있어요: 한 번의 호출에서 읽을 수 있는 최대 토큰이에요. 긴 채팅 기록은 결국 그것을 넘치고, 호출은 오류를 내거나 조용히 잘려요. 실무 해결책은 보내기 전에 대화를 다듬는 예산 관리기예요.
표준 정책은 단순하고 실전에서 검증됐어요: 시스템 메시지는 늘 지키고(절대 버리면 안 되는 지시와 인격을 싣고 있어요), 그다음 누적 토큰 추정이 예산에 들어갈 때까지 가장 오래된 보통 차례를 하나씩 버려요. 일관성에는 최근 차례가 가장 중요하니, 그것들이 마지막으로 빠져요.
메시지는 익숙한 채팅 형식처럼 생겼어요:
[
{"role": "system", "content": "You are a careful assistant."},
{"role": "user", "content": "What is the capital of France?"},
{"role": "assistant", "content": "The capital of France is Paris."},
{"role": "user", "content": "And of Spain?"}
]앞 레슨의 토큰 추정기(chars/4)가 이미 있어요. 여기서 estimate_tokens로 주어져요. 지킨 모든 메시지의 content에 걸쳐 그것을 더해 누계를 얻으세요.
fit_to_budget(messages, max_tokens)를 만드세요. 원래 순서로 메시지의 새 리스트를 돌려주되: 시스템 메시지는 언제나 지키고, 버릴 수 있을 때는 언제나 지킨 메시지의 총 추정 토큰이 <= max_tokens이고, 버려야 할 때는 시스템이 아닌 가장 오래된 메시지부터 버려요. 넉넉한 예산은 모든 걸 지켜요. 입력 리스트를 바꾸지 마세요.
지킨 메시지를 원래 순서로 돌려주는 fit_to_budget(messages, max_tokens)를 쓰세요. 모든 시스템 메시지를 지키세요. 총 추정 토큰 수(각 content에 대한 estimate_tokens의 합)가 <= max_tokens가 될 때까지 시스템이 아닌 가장 오래된 메시지를 하나씩 버리세요. 넉넉한 예산은 아무것도 버리지 않고, 서로 다른 두 예산은 다른 집합을 지켜야 하고, 가장 최근 차례가 더 오래된 것보다 살아남아요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.