기권하는 의도 분류기
캡스톤 만들기에 온 걸 환영해요. 네 레슨에 걸쳐 사용자와 모델 사이에 앉는 층을 내보내요: 요청이 무엇을 원하는지 분류하고, 올바른 처리기로 보내고, 답을 캐시하고, 남용을 막고, 모든 달러를 회계하는 AI 게이트웨이. 영리한 데모를 회사가 실제로 돌릴 수 있는 것으로 바꾸는 화려하지 않은 인프라이고, 이력서 한 줄이 "AI 게이트웨이를 만들었어요: 분류, 라우팅, 캐시, 가드레일, 비용 회계"라고 쓰일 때 채용 담당자가 뜻하는 바로 그거예요.
범위에 관한 솔직한 메모 하나: 여러분은 게이트웨이의 애플리케이션 층 로직(분류, 라우팅, 의미 캐시, 가드레일, 비용 회계)을 만들어요. 운영에서 실제로 돌릴 게이트웨이에는 그것을 올릴 돌아가는 서비스, 인증, 진짜 분산 속도 제한, 배포도 필요한데, 이건 이 브라우저 속 캡스톤 너머예요.
첫 정거장: 정문. 도착하는 모든 요청은 글 덩어리이고, 그걸로 똑똑한 일을 하려면 먼저 그게 무엇인지 알아야 해요. 날씨 질문인가요? 계정 문제? 청구 불만? 라벨 붙은 예시 몇 개로 배우고 새 요청마다 꼬리표를 붙이는 의도 분류기를 만들 거예요. 장난감과 진짜 분류기를 가르는 함정: 모를 때를 알아야 해요. 엉터리 글에 자신 있게 라벨을 붙이는 모델은 뒤쪽에서 쓸모없는 것보다 나쁘니, 여러분의 분류기는 확신이 없을 때 기권하고 "unknown"을 돌려줄 거예요.
함수 두 개를 쓸 거예요:
train_intent(texts, labels)-> 글을 벡터로 바꾸도록TfidfVectorizer를 맞추고, 그 위에LogisticRegression(random_state=0)을 맞춰요.classify가 예측하는 데 필요한 어떤 묶음(dict면 충분해요)이든 돌려줘요. 모두가 똑같은 결과를 얻도록 모델에 시드를 주세요.classify(model, text)->(label, confidence)튜플을 돌려줘요.predict_proba로 클래스 확률을 얻고, 가장 높은 것을 고르고, 그 신뢰도가 기준(약0.5)보다 낮으면 대신("unknown", confidence)를 돌려줘요.
정말 분포 밖인 입력을 잡는 요령은 싸고 튼튼해요. TfidfVectorizer.transform이 훈련 어휘가 하나도 없는 글을 보면 결과 행이 모두 0이에요(.nnz가 0). 그게 모델이 기댈 게 없다는 신호이니, 바로 기권하세요:
X = vec.transform([text])
if X.nnz == 0:
return ("unknown", 0.0)
probs = clf.predict_proba(X)[0]
idx = probs.argmax()
conf = float(probs[idx])
return (clf.classes_[idx], conf) if conf >= 0.5 else ("unknown", conf)모델에 관한 실제 메모 하나: 아주 작은 훈련 세트에서는 기본 규제 때문에 모든 확률이 우연 수준 근처를 맴돌아서, 정당한 질문이 결코 기준을 넘지 못해요. C=10.0으로 규제를 풀면(그리고 수렴하도록 max_iter를 올리면) 모델이 충분히 날카로워져서 진짜 바꿔 말한 질문은 자신 있게 점수를 받고 쓰레기는 여전히 기권해요. Run을 눌러 라벨 붙은 지원 질문 몇 개로 훈련하고 바꿔 말한 질문은 분류되고 엉터리 글은 물러나는 걸 보세요.
TfidfVectorizer + LogisticRegression(random_state=0)(작은 데이터가 수렴하도록 C=10.0으로 풀고 max_iter를 올리세요)을 써서 classify가 필요한 어떤 묶음이든 돌려주는 train_intent(texts, labels)를 쓰세요. 그다음 (label, confidence)를 돌려주는 classify(model, text)를 쓰세요: predict_proba의 가장 높은 클래스를 고르고, 약 0.5 기준 아래면 ("unknown", conf)로 기권하고, 분포 밖이거나 빈 입력에 라벨이 붙지 않도록 변환한 행이 모두 0이면(X.nnz == 0) 바로 기권하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.