가드레일 파이프라인 + 추적
이게 마지막 조각이고, 게이트웨이를 진짜 사용자 앞에 둘 수 있게 하는 거예요: 안전과 관찰 가능성. 어떤 글이든 모델에 닿기 전에 프롬프트 주입 시도를 막고 개인 데이터를 닦아 내는 경비 파이프라인에 통과시켜요. 그리고 모든 호출 뒤에 추적 이벤트를 기록하고, 그 이벤트를 당직 엔지니어가 실제로 보는 요약으로 모아요. 이 두 생각, "가드레일"과 "비용 회계"가 함께 이 모듈을 시작한 이력서 한 줄을 완성해요.
경비. 요청 글을 살펴보고 {"allowed": bool, "reason": ..., "text": ..., "redacted": [...]} 같은 판정 dict를 돌려주는 guard(request)를 쓰세요. 확인 두 가지:
- 주입 막기: 글이 알려진 공격 패턴("ignore all previous instructions," "reveal the system prompt," "you are now..."를 떠올리세요)과 맞으면
allowed=False로 바로 거부해요. 대소문자 구분 없는 정규식 작은 리스트면 여기서 충분해요. - PII 가리기: 아니면 글에서 이메일과 전화번호를 닦아 내
[EMAIL]과[PHONE]자리 표시자로 바꾸고, 정리한 글을allowed=True와 찾은 종류 리스트와 함께 돌려줘요.
INJECTION = re.compile(r"ignore (?:all )?previous instructions|reveal .*system prompt|you are now", re.I)
def guard(request):
text = request["text"]
if INJECTION.search(text):
return {"allowed": False, "reason": "injection", "text": text, "redacted": []}
clean, kinds = redact(text)
return {"allowed": True, "reason": "ok", "text": clean, "redacted": kinds}추적. 처리한 모든 요청은 흔적을 남겨요: 어느 처리기가 돌았는지, 막혔는지, 비용이 얼마였는지. 키 handler, blocked, cost가 있는 dict 리스트에 대해 aggregate_trace(events)를 쓰세요. 전체 calls 수, 그중 blocks가 몇 개인지, 실제로 허용된 호출의 total_cost, 처리기별 호출과 비용의 by_handler 분석이 있는 요약을 돌려줘요. pandas groupby에 딱 맞는 일이에요:
df = pd.DataFrame(events)
allowed = df[~df["blocked"]]
grouped = allowed.groupby("handler")["cost"].agg(["count", "sum"])막힌 요청은 비용이 없고 total_cost를 부풀리면 안 되니, 허용된 행에 대해서만 비용을 더하세요. 새 게이트웨이가 충돌하는 대신 깔끔한 0을 알리도록 빈 추적 경우를 다루세요. Run을 눌러 주입을 막고, 연락처로 가득한 요청을 가리고, 무해한 요청을 통과시키고, 모은 추적을 출력하세요.
판정 dict를 돌려주는 guard(request)(요청에는 "text" 키가 있어요)를 쓰세요. 프롬프트 주입 시도는 (대소문자 구분 없는 정규식 작은 리스트로) allowed=False와 reason="injection"으로 막고, 아니면 이메일과 전화번호를 [EMAIL]/[PHONE] 자리 표시자로 가리고 allowed=True, 정리한 text, 찾은 종류 리스트를 돌려주세요. 그다음 handler, blocked, cost가 있는 dict에 대해 {"calls", "blocks", "total_cost", "by_handler"}를 돌려주는 aggregate_trace(events)를 쓰세요. total_cost는 허용된(막히지 않은) 호출만 더하고 by_handler는 처리기별로 호출/비용을 나눠요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.