토큰/비용 회계 + 캐싱
게이트웨이가 이제 요청을 보내지만, 진짜 모델 호출마다 돈과 시간이 들어요. 여러분이 쥔 가장 큰 지렛대 두 개는 비용 회계(아무도 청구서에 놀라지 않게)와 캐싱(같은 답에 두 번 돈 내지 않게)이에요. 이 레슨은 둘 다 만들고, 캐싱에는 정말 쓸모 있게 만드는 반전이 있어요: 바이트 하나하나 똑같은 반복만이 아니라 거의 중복인 질문도 잡아요.
계량기부터 시작해요. 싸고 결정적인 토큰 추정은 "네 글자당 약 토큰 하나"이고, 비용은 그냥 토큰 곱하기 토큰당 요금이에요:
def estimate_cost(text, rate):
tokens = len(text) // 4
return tokens * rate이제 캐시. 순진한 캐시는 정확한 문자열을 키로 삼아서, "Reset my password"와 "reset my password"가 다른 질문처럼 보이고 둘 다 정가를 내요. 두 층 Cache 클래스를 만들 거예요:
- 해시 층: 글을 정규화하고(소문자, 공백 줄이기), 해시하고, 그 키 아래 답을 저장해요. (정규화 후) 정확한 반복은 즉시 적중이에요.
- 의미 층: 해시가 빗나가면 쿼리의 임베딩을 저장된 모든 임베딩과 코사인 유사도로 비교해요. 가장 가까운 것이 기준(예:
0.9) 이상이면 그것도 적중으로 쳐요. 이렇게"password reset steps"가 캐시된"how do I reset my password"에 적중해요.
put과 get 둘 다 글과 미리 계산한 임베딩(작은 벡터)을 받아요. get은 status가 "hit"이나 "miss"인 (status, value) 튜플을 돌려줘요:
def get(self, text, embedding):
key = self._key(text)
if key in self.by_hash: # tier 1: exact
return ("hit", self.by_hash[key])
best, best_sim = None, -1.0 # tier 2: semantic
for vec, answer in self.entries:
sim = cosine(embedding, vec)
if sim > best_sim:
best_sim, best = sim, answer
if best is not None and best_sim >= self.threshold:
return ("hit", best)
return ("miss", None)코사인 유사도는 내적을 노름의 곱으로 나눈 거예요. 결코 0으로 나누지 않도록 0 벡터를 막으세요. 진짜 게이트웨이에서는 그 임베딩이 모델에서 오지만, 여기서는 로직을 오프라인에서 테스트할 수 있도록 바로 넘겨요. Run을 눌러 프롬프트 값을 매기고, 캐시에 정확히 적중하고, 바꿔 말한 질문으로 다시 적중하고, 무관한 쿼리가 빗나가는 걸 보세요.
토큰 추정(4글자당 약 토큰 1개) 곱하기 토큰당 rate를 돌려주는 estimate_cost(text, rate)를 쓰세요. 그다음 put(text, embedding, answer)와 (status, value) 튜플을 돌려주는 get(text, embedding)가 있는 두 층 Cache 클래스를 만드세요. get은 해시로 정확한(정규화: 소문자, 공백 줄이기) 글 일치일 때, 또는 가장 가까운 저장된 임베딩의 코사인 유사도가 기준 >=일 때(의미 적중) "hit"이고, 아니면 ("miss", None)이에요. 유사도가 낮은 다른 쿼리는 빗나가야 해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.