강의 계획 레슨 250개 중 183번째 · LLM 실무화: 비용, 캐싱, 가드레일
LLM 실무화: 비용, 캐싱, 가드레일

출력 경비와 추적 모으기

모델의 답은 확인하기 전까지 믿을 수 없어요. 출력 경비 두 가지가 대부분의 필요를 덮어요. 허용 목록 경비는 출력이 알려진 집합 중 정확히 하나이길 요구해요. 분류기를 믿을 만하게 만드는 방법이에요: 모델이 positive, negative, neutral로 답해야 한다면 다른 건 다 거부돼요. 금지 목록 경비는 둘레 글과 상관없이 금지어(새어 나간 비밀, 비하 표현, 경쟁사 이름)가 든 출력을 표시해요.

실무 시스템에는 추적 가능성도 필요해요: 모든 호출을 입력, 출력, 토큰 수, 지연, 비용과 함께 기록해서, 나중에 "이게 얼마 들었고 얼마나 느렸나?"에 답할 수 있게요. 그 기록을 요약으로 모아요: 총비용과 지연 백분위수. p95 지연(호출의 95%가 그보다 빨랐던 값)은 당직 엔지니어가 실제로 지켜보는 숫자예요. 평균은 느린 꼬리를 숨기거든요.

import numpy as np
p95 = np.percentile(latencies, 95)   # the slow-tail number, not the mean

함수 네 개를 만드세요. (1) validate_output(text, allowed_labels) -> text.strip()이 allowed_labels에 있을 때만 True. (2) contains_banned(text, banned) -> 대소문자 구분 없이 금지어가 하나라도 text에 나오면 True. (3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> 정확히 그 다섯 키가 있는 dict. (4) aggregate_traces(traces) -> 추적 dict들로 pandas.DataFrame을 만들고, n, total_cost(소수점 6자리로 반올림), 그리고 numpy.percentile로 계산한 p50_latency와 p95_latency가 있는 dict를 돌려줘요.

내 차례

validate_output(text, allowed_labels)(text.strip()이 허용된 라벨일 때만 True), contains_banned(text, banned)(금지어가 하나라도 나오면 True, 대소문자 구분 없음), build_trace(input_text, output_text, tokens, latency_ms, cost)(그 다섯 키가 있는 dict), aggregate_traces(traces)(numpy.percentile로 {n, total_cost (round 6dp), p50_latency, p95_latency}까지 요약한 pandas DataFrame)를 만드세요. 허용된 라벨은 통과하고 허용되지 않은 건 막혀야 하고, 서로 다른 두 금지 목록은 다른 판정을 내야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.