강의 계획 레슨 250개 중 198번째 · LLM을 둘러싼 ML
LLM을 둘러싼 ML

확신 기준과 판단 보류

분류기는 전혀 모를 때도 언제나 답을 돌려줘요. 소프트맥스는 합이 1이어야 하니, 정말로 헷갈린 모델도 최상위 레이블을 건네줘요 -> 그 뒤에 낮은 확률이 있을 뿐이에요. 실무에서는 위험해요: 고객을 조용히 잘못 보내는 건 확실하지 않다고 인정하는 것보다 나빠요.

해결책은 판단 보류 선택지가 있는 확신 기준이에요. 최상위 레이블의 확률을 보고, 기준을 넘으면 그것에 따라 행동하고, 넘지 못하면 요청을 사람에게(또는 더 비싼 모델로) 넘기는 특별한 "abstain" 판정을 돌려줘요. 진지한 LLM 시스템이라면 모두 가진 사람 인계 관문이에요.

probs  = [0.80, 0.12, 0.08]      # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"

probs  = [0.40, 0.35, 0.25]      # model is unsure
# top prob 0.40 <  0.6 -> return "abstain"

기준은 데이터로 맞추는 다이얼이에요: 올리면 더 자주 보류하고(더 안전, 사람 일이 더 많음), 내리면 더 자주 행동해요(더 싸고, 더 위험). 경계 자체도 중요해요 -> 기준과 정확히 같은 확률을 확신으로 칠지 정하세요. 여기서는 >= threshold면 확신을 써요(경계값은 통과해요).

확률은 어디서 올까요? 보통 앞서 만든 분류기의 model.predict_proba(...)나, 분포로 정규화한 프로토타입별 코사인 점수예요. 어느 쪽이든 관문 로직은 같은 작은 함수이고, 순수하고 결정적이에요 -> 단위 테스트할 수 있는 딱 그런 안전장치예요.

함수 하나를 만드세요. classify_with_threshold(probs, labels, threshold): 확률이 가장 높은 레이블을 찾아서, 그 확률이 >= threshold면 레이블을 돌려주고, 아니면 문자열 "abstain"을 돌려줘요. probs와 labels는 짝이 맞춰진 리스트예요. 확신하는 경우가 통과하고 확실하지 않은 경우가 보류되는 걸 보려면 실행을 누르세요.

내 차례

probs와 labels가 짝이 맞춰진 리스트인 classify_with_threshold(probs, labels, threshold)를 쓰세요. 확률이 가장 높은 레이블을 돌려주되, 그 확률이 >= threshold일 때만이에요. 아니면 문자열 "abstain"을 돌려주세요. 기준과 정확히 같은 확률은 확신으로 치세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.