강의 계획 레슨 250개 중 225번째 · 프로젝트: 운영용 AI 게이트웨이
프로젝트: 운영용 AI 게이트웨이

기권하는 의도 분류기

캡스톤 만들기에 온 걸 환영해요. 네 레슨에 걸쳐 사용자와 모델 사이에 앉는 층을 내보내요: 요청이 무엇을 원하는지 분류하고, 올바른 처리기로 보내고, 답을 캐시하고, 남용을 막고, 모든 달러를 회계하는 AI 게이트웨이. 영리한 데모를 회사가 실제로 돌릴 수 있는 것으로 바꾸는 화려하지 않은 인프라이고, 이력서 한 줄이 "AI 게이트웨이를 만들었어요: 분류, 라우팅, 캐시, 가드레일, 비용 회계"라고 쓰일 때 채용 담당자가 뜻하는 바로 그거예요.

범위에 관한 솔직한 메모 하나: 여러분은 게이트웨이의 애플리케이션 층 로직(분류, 라우팅, 의미 캐시, 가드레일, 비용 회계)을 만들어요. 운영에서 실제로 돌릴 게이트웨이에는 그것을 올릴 돌아가는 서비스, 인증, 진짜 분산 속도 제한, 배포도 필요한데, 이건 이 브라우저 속 캡스톤 너머예요.

첫 정거장: 정문. 도착하는 모든 요청은 글 덩어리이고, 그걸로 똑똑한 일을 하려면 먼저 그게 무엇인지 알아야 해요. 날씨 질문인가요? 계정 문제? 청구 불만? 라벨 붙은 예시 몇 개로 배우고 새 요청마다 꼬리표를 붙이는 의도 분류기를 만들 거예요. 장난감과 진짜 분류기를 가르는 함정: 모를 때를 알아야 해요. 엉터리 글에 자신 있게 라벨을 붙이는 모델은 뒤쪽에서 쓸모없는 것보다 나쁘니, 여러분의 분류기는 확신이 없을 때 기권하고 "unknown"을 돌려줄 거예요.

함수 두 개를 쓸 거예요:

  • train_intent(texts, labels) -> 글을 벡터로 바꾸도록 TfidfVectorizer를 맞추고, 그 위에 LogisticRegression(random_state=0)을 맞춰요. classify가 예측하는 데 필요한 어떤 묶음(dict면 충분해요)이든 돌려줘요. 모두가 똑같은 결과를 얻도록 모델에 시드를 주세요.
  • classify(model, text) -> (label, confidence) 튜플을 돌려줘요. predict_proba로 클래스 확률을 얻고, 가장 높은 것을 고르고, 그 신뢰도가 기준(약 0.5)보다 낮으면 대신 ("unknown", confidence)를 돌려줘요.

정말 분포 밖인 입력을 잡는 요령은 싸고 튼튼해요. TfidfVectorizer.transform이 훈련 어휘가 하나도 없는 글을 보면 결과 행이 모두 0이에요(.nnz가 0). 그게 모델이 기댈 게 없다는 신호이니, 바로 기권하세요:

X = vec.transform([text])
if X.nnz == 0:
    return ("unknown", 0.0)
probs = clf.predict_proba(X)[0]
idx = probs.argmax()
conf = float(probs[idx])
return (clf.classes_[idx], conf) if conf >= 0.5 else ("unknown", conf)

모델에 관한 실제 메모 하나: 아주 작은 훈련 세트에서는 기본 규제 때문에 모든 확률이 우연 수준 근처를 맴돌아서, 정당한 질문이 결코 기준을 넘지 못해요. C=10.0으로 규제를 풀면(그리고 수렴하도록 max_iter를 올리면) 모델이 충분히 날카로워져서 진짜 바꿔 말한 질문은 자신 있게 점수를 받고 쓰레기는 여전히 기권해요. Run을 눌러 라벨 붙은 지원 질문 몇 개로 훈련하고 바꿔 말한 질문은 분류되고 엉터리 글은 물러나는 걸 보세요.

내 차례

TfidfVectorizer + LogisticRegression(random_state=0)(작은 데이터가 수렴하도록 C=10.0으로 풀고 max_iter를 올리세요)을 써서 classify가 필요한 어떤 묶음이든 돌려주는 train_intent(texts, labels)를 쓰세요. 그다음 (label, confidence)를 돌려주는 classify(model, text)를 쓰세요: predict_proba의 가장 높은 클래스를 고르고, 약 0.5 기준 아래면 ("unknown", conf)로 기권하고, 분포 밖이거나 빈 입력에 라벨이 붙지 않도록 변환한 행이 모두 0이면(X.nnz == 0) 바로 기권하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.