확신 기준과 판단 보류
분류기는 전혀 모를 때도 언제나 답을 돌려줘요. 소프트맥스는 합이 1이어야 하니, 정말로 헷갈린 모델도 최상위 레이블을 건네줘요 -> 그 뒤에 낮은 확률이 있을 뿐이에요. 실무에서는 위험해요: 고객을 조용히 잘못 보내는 건 확실하지 않다고 인정하는 것보다 나빠요.
해결책은 판단 보류 선택지가 있는 확신 기준이에요. 최상위 레이블의 확률을 보고, 기준을 넘으면 그것에 따라 행동하고, 넘지 못하면 요청을 사람에게(또는 더 비싼 모델로) 넘기는 특별한 "abstain" 판정을 돌려줘요. 진지한 LLM 시스템이라면 모두 가진 사람 인계 관문이에요.
probs = [0.80, 0.12, 0.08] # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"
probs = [0.40, 0.35, 0.25] # model is unsure
# top prob 0.40 < 0.6 -> return "abstain"기준은 데이터로 맞추는 다이얼이에요: 올리면 더 자주 보류하고(더 안전, 사람 일이 더 많음), 내리면 더 자주 행동해요(더 싸고, 더 위험). 경계 자체도 중요해요 -> 기준과 정확히 같은 확률을 확신으로 칠지 정하세요. 여기서는 >= threshold면 확신을 써요(경계값은 통과해요).
확률은 어디서 올까요? 보통 앞서 만든 분류기의 model.predict_proba(...)나, 분포로 정규화한 프로토타입별 코사인 점수예요. 어느 쪽이든 관문 로직은 같은 작은 함수이고, 순수하고 결정적이에요 -> 단위 테스트할 수 있는 딱 그런 안전장치예요.
함수 하나를 만드세요. classify_with_threshold(probs, labels, threshold): 확률이 가장 높은 레이블을 찾아서, 그 확률이 >= threshold면 레이블을 돌려주고, 아니면 문자열 "abstain"을 돌려줘요. probs와 labels는 짝이 맞춰진 리스트예요. 확신하는 경우가 통과하고 확실하지 않은 경우가 보류되는 걸 보려면 실행을 누르세요.
probs와 labels가 짝이 맞춰진 리스트인 classify_with_threshold(probs, labels, threshold)를 쓰세요. 확률이 가장 높은 레이블을 돌려주되, 그 확률이 >= threshold일 때만이에요. 아니면 문자열 "abstain"을 돌려주세요. 기준과 정확히 같은 확률은 확신으로 치세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.