강의 계획 레슨 250개 중 132번째 · AI 엔지니어를 위한 프롬프트 엔지니어링
AI 엔지니어를 위한 프롬프트 엔지니어링

맥락과 토큰 예산

모든 모델에는 한정된 맥락 창이 있고, 토큰마다 돈을 내요. 대화가 예산을 넘어 커지면 전부 보낼 수 없으니 무엇을 남길지 정해요. 표준 정책: 시스템 프롬프트(규칙을 정해요)와 여전히 들어가는 가장 최근 메시지들을 남기고, 가장 오래된 것은 버려요.

단순한 예산 관리기를 만들어요. 먼저 대략적인 토큰 추정기: 진짜 토크나이저는 모델마다 다르지만, 탄탄한 오프라인 근사는 토큰당 약 4글자예요. estimate_tokens(text)는 len(text) // 4를 돌려줘요(빈 글이면 0, 비어 있지 않은 글이면 적어도 1).

그다음 fit_context(system, messages, budget)이 무엇이 살아남을지 정해요:

  • 시스템 프롬프트를 먼저 세고 늘 남겨요.
  • 메시지를 가장 새것에서 가장 오래된 것 순으로 돌며, 토큰이 여전히 예산 아래에 들어가는 것을 남기고, 다음 것이 넘치면 멈춰요.
  • kept를 시간 순서로 되돌려 {"kept": [...], "dropped": n, "tokens": total}을 돌려줘요.
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20}   # newest two survive

채점기가 확인하는 두 미묘함: 빡빡한 예산은 더 적은(그리고 알맞은) 메시지를 남기고, 비어 있지 않은 시스템 프롬프트는 예산을 잡아먹어 들어가는 메시지가 줄어요. 거꾸로 돌아 가장 새것부터 고른 다음, 남긴 리스트를 다시 뒤집어 대화가 순서대로 읽히게 하세요. 채점하려면 실행을 누르세요.

내 차례

len(text) // 4(빈 글은 0, 비어 있지 않으면 적어도 1)를 돌려주는 estimate_tokens(text)를 쓰세요. 시스템을 먼저 세고, 들어가는 가장 새 메시지들을 남기고(거꾸로 돌기), kept를 시간 순서로 되돌려 {"kept", "dropped", "tokens"}를 돌려주는 fit_context(system, messages, budget)를 쓰세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.