강의 계획 레슨 250개 중 180번째 · LLM 실무화: 비용, 캐싱, 가드레일
LLM 실무화: 비용, 캐싱, 가드레일

의미 캐싱과 해시 캐싱

가장 싼 모델 호출은 결코 하지 않는 호출이에요. 실무 LLM 시스템은 모델 앞에 캐시를 둬서, 반복되거나 거의 반복되는 질문에 공짜로 답해요. 두 종류가 대부분의 경우를 덮어요.

해시 캐싱은 정확한 요청을 키로 삼아요. 요령은 사소하게 다른 프롬프트가 부딪치도록 먼저 정규화하는 거예요: 글을 소문자로 바꾸고, 공백의 연속을 공백 하나로 줄이고, 어떤 옵션이든(temperature, model) 해시하기 전에 안정적이고 정렬된 순서로 접어 넣어요. 그러면 " Hello World "와 "hello world"가 키 하나를 공유해요. 소문자로 바꾸는 건 맞바꿈이에요: 대부분의 질문에서 대소문자는 답을 바꾸지 않지만, 가끔은 바꿔요(코드 식별자, "US"와 "us"). 그러니 프롬프트가 대소문자를 구분하면 그건 빼세요.

import hashlib, re
norm = re.sub(r"\s+", " ", prompt.strip().lower())
key  = hashlib.sha256(norm.encode()).hexdigest()

의미 캐싱은 더 나아가요: 새 쿼리가 옛 쿼리와 같은 것을 뜻할 때, 임베딩 벡터 사이의 코사인 유사도로 재서, 캐시된 답을 돌려줘요. 가장 가까운 저장된 벡터가 기준(예: 0.9) 이상이면 적중이고, 아니면 빗나감이라 모델을 불러요. 실제 앱에서는 벡터가 임베딩 모델에서 오지만, 여기서는 로직이 결정적이도록 바로 넘겨요. 위험은 거짓 적중이에요: "주문을 어떻게 취소하나요?"와 "구독을 어떻게 취소하나요?"는 임베딩 공간에서 아주 가까이 있을 수 있고 다른 답이 필요해요. 기준을 높게 잡고, 믿기 전에 실제 트래픽에서 거짓 적중을 재고, 누가 묻는지에 따라 달라지는 답은 결코 의미 캐싱하지 마세요.

cosine(a, b) = dot(a, b) / (norm(a) * norm(b))

세 가지를 만드세요. (1) put(query_vec, answer)와, 가장 가까운 항목의 코사인 유사도가 >= self.threshold면 그 저장된 답을, 아니면 None을 돌려주는 get(query_vec)가 있는 클래스 SemanticCache. (2) 정규화하고(소문자, 공백 줄이기, 옵션 키 정렬) 16진 hashlib.sha256 다이제스트를 돌려줘서, 겉으로 다른 두 프롬프트가 같은 키에 대응되게 하는 cache_key(prompt, **opts). (3) make_memoized(fn) -> cache_key로 결과를 캐시하고 .hits와 .misses 카운터를 드러내는 호출 가능한 것.

내 차례

(1) SemanticCache(__init__의 threshold, 그리고 put(query_vec, answer)와, 코사인 유사도가 >= threshold면 가장 가까운 답을 아니면 None을 돌려주는 get(query_vec)), (2) cache_key(prompt, **opts): re.sub(r"\s+", " ", prompt.strip().lower())로 프롬프트를 정규화한 다음, "|".join([normalised] + ["%s=%s" % (k, opts[k]) for k in sorted(opts)])를 hashlib.sha256으로 해시하고 16진 다이제스트를 돌려줘요(확인은 정확히 이 방법과 비교해요). (3) .hits와 .misses가 있는 호출 가능한 것을 돌려주는 make_memoized(fn)를 만드세요. 거의 중복인 벡터는 적중하고, 먼 벡터는 빗나가고, 공백이 다른 두 프롬프트는 키를 공유해야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.