강의 계획 레슨 250개 중 178번째 · LLM 실무화: 비용, 캐싱, 가드레일
LLM 실무화: 비용, 캐싱, 가드레일

토큰과 비용 회계

모델 호출에는 진짜 돈이 들고, 청구서는 글자나 단어가 아니라 토큰으로 매겨져요. 토큰은 대략 몇 글자짜리 덩어리예요. 정확한 개수는 모델의 토크나이저에서 나오지만, 예산과 대시보드에는 tokens ≈ characters / 4가 좋은 경험 법칙이에요. 그 추정이면 지출을 예측하고, 요청별 한도를 정하고, 예산을 날려 버리려는 프롬프트를 알아채기에 충분히 가까워요.

제공자는 입력(프롬프트) 토큰과 출력(완성) 토큰에 다른 요금을 매기고, 보통 1,000,000토큰당 달러로 매겨요. 출력은 흔히 입력보다 몇 배 비싸니 나눔이 중요해요. 호출 한 번의 비용은:

cost = (prompt_tokens / 1_000_000) * in_rate
     + (completion_tokens / 1_000_000) * out_rate

실제 앱에서는 응답에서 진짜 토큰 수를 바로 읽을 거예요. 예를 들어 기기 내 WebLLM 엔진은 응답과 함께 그것을 돌려줘요:

const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens;  // exact count from the runtime

그 실시간 호출은 보여 주기일 뿐이에요. 여기서는 어떤 모델이든 둘러싸는 결정적인 회계 층을 만들어요: 토큰 추정기와 가격표 위의 비용 함수. 모든 비용 대시보드가 이 두 함수로 만들어져요.

함수 두 개를 만드세요. estimate_tokens(text)는 chars/4 규칙으로 정수 토큰 추정을 돌려줘요(정수 나눗셈을 써서 "" -> 0). estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate)는 위 공식으로 달러 비용을 돌려주고, 요금은 1,000,000토큰당 달러예요. 둘 다 순수하고 부작용 없게 두세요.

내 차례

정수 토큰 추정(약 len(text) // 4, 그래서 빈 문자열은 0)을 돌려주는 estimate_tokens(text)와, in_rate와 out_rate가 1,000,000토큰당 가격일 때 달러 비용을 돌려주는 estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate)를 쓰세요. 두 글 중 긴 쪽이 결코 더 적은 토큰으로 추정되면 안 되고, 두 요금이 다를 때 프롬프트가 많은 호출을 완성이 많은 호출로 바꾸면 비용이 바뀌어야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.