강의 계획 레슨 250개 중 228번째 · 프로젝트: 운영용 AI 게이트웨이
프로젝트: 운영용 AI 게이트웨이

가드레일 파이프라인 + 추적

이게 마지막 조각이고, 게이트웨이를 진짜 사용자 앞에 둘 수 있게 하는 거예요: 안전과 관찰 가능성. 어떤 글이든 모델에 닿기 전에 프롬프트 주입 시도를 막고 개인 데이터를 닦아 내는 경비 파이프라인에 통과시켜요. 그리고 모든 호출 뒤에 추적 이벤트를 기록하고, 그 이벤트를 당직 엔지니어가 실제로 보는 요약으로 모아요. 이 두 생각, "가드레일"과 "비용 회계"가 함께 이 모듈을 시작한 이력서 한 줄을 완성해요.

경비. 요청 글을 살펴보고 {"allowed": bool, "reason": ..., "text": ..., "redacted": [...]} 같은 판정 dict를 돌려주는 guard(request)를 쓰세요. 확인 두 가지:

  • 주입 막기: 글이 알려진 공격 패턴("ignore all previous instructions," "reveal the system prompt," "you are now..."를 떠올리세요)과 맞으면 allowed=False로 바로 거부해요. 대소문자 구분 없는 정규식 작은 리스트면 여기서 충분해요.
  • PII 가리기: 아니면 글에서 이메일과 전화번호를 닦아 내 [EMAIL]과 [PHONE] 자리 표시자로 바꾸고, 정리한 글을 allowed=True와 찾은 종류 리스트와 함께 돌려줘요.
INJECTION = re.compile(r"ignore (?:all )?previous instructions|reveal .*system prompt|you are now", re.I)

def guard(request):
    text = request["text"]
    if INJECTION.search(text):
        return {"allowed": False, "reason": "injection", "text": text, "redacted": []}
    clean, kinds = redact(text)
    return {"allowed": True, "reason": "ok", "text": clean, "redacted": kinds}

추적. 처리한 모든 요청은 흔적을 남겨요: 어느 처리기가 돌았는지, 막혔는지, 비용이 얼마였는지. 키 handler, blocked, cost가 있는 dict 리스트에 대해 aggregate_trace(events)를 쓰세요. 전체 calls 수, 그중 blocks가 몇 개인지, 실제로 허용된 호출의 total_cost, 처리기별 호출과 비용의 by_handler 분석이 있는 요약을 돌려줘요. pandas groupby에 딱 맞는 일이에요:

df = pd.DataFrame(events)
allowed = df[~df["blocked"]]
grouped = allowed.groupby("handler")["cost"].agg(["count", "sum"])

막힌 요청은 비용이 없고 total_cost를 부풀리면 안 되니, 허용된 행에 대해서만 비용을 더하세요. 새 게이트웨이가 충돌하는 대신 깔끔한 0을 알리도록 빈 추적 경우를 다루세요. Run을 눌러 주입을 막고, 연락처로 가득한 요청을 가리고, 무해한 요청을 통과시키고, 모은 추적을 출력하세요.

내 차례

판정 dict를 돌려주는 guard(request)(요청에는 "text" 키가 있어요)를 쓰세요. 프롬프트 주입 시도는 (대소문자 구분 없는 정규식 작은 리스트로) allowed=False와 reason="injection"으로 막고, 아니면 이메일과 전화번호를 [EMAIL]/[PHONE] 자리 표시자로 가리고 allowed=True, 정리한 text, 찾은 종류 리스트를 돌려주세요. 그다음 handler, blocked, cost가 있는 dict에 대해 {"calls", "blocks", "total_cost", "by_handler"}를 돌려주는 aggregate_trace(events)를 쓰세요. total_cost는 허용된(막히지 않은) 호출만 더하고 by_handler는 처리기별로 호출/비용을 나눠요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.