정확도 너머: 정밀도, 재현율, F1
지난 레슨에서 함정을 봤어요: 이메일의 95%가 스팸이 아니라면, 늘 "스팸 아님"이라고 추측하는 모델이 스팸을 하나도 잡지 못하면서 정확도 0.95를 받아요. 불균형한 문제에서는 정확도가 거짓말을 해요. 해결책은 혼동 행렬로 모델이 어떤 종류의 실수를 하는지 보는 거예요.
예/아니오 분류기(레이블 1 = 양성 클래스, 예: "스팸")에서 모든 예측은 네 상자 중 하나에 들어가요:
TP true positive predicted 1, actually 1 (caught real spam)
FP false positive predicted 1, actually 0 (flagged a good email)
FN false negative predicted 0, actually 1 (missed real spam)
TN true negative predicted 0, actually 0 (left a good email alone)그 개수들에서 숫자 세 개가 나오고, 실제 팀들이 보고하는 게 바로 이거예요:
- 정밀도 =
TP / (TP + FP). 표시한 것 중 얼마나 맞았나? 정밀도가 낮으면 = 양치기 소년. - 재현율 =
TP / (TP + FN). 잡았어야 할 것 중 얼마나 잡았나? 재현율이 낮으면 = 진짜 사례를 놓침. - F1 =
2 * P * R / (P + R), 조화 평균. 정밀도와 재현율이 둘 다 높을 때만 높은 숫자 하나라서, 모두 음성이라고 하는 게으른 모델(재현율 0)은 F1 = 0을 받고 정체가 드러나요.
정밀도와 재현율은 서로 맞바꿔져요: 모두 표시하면 재현율은 1.0이 되지만 정밀도가 무너지고, 아무것도 표시하지 않으면 정밀도는 정의되지 않지만 아무것도 잡지 못해요. F1이 정직하게 지켜 줘요. 분모가 0일 때(양성을 하나도 예측하지 않았거나, 양성이 없을 때)는 0으로 나누지 말고 그 지표를 0.0으로 보고하세요.
함수 두 개를 만드세요. confusion(y_true, y_pred)는 같은 길이의 0/1 레이블 리스트 두 개에 대해 튜플 (tp, fp, fn, tn)을 돌려줘요. prf(y_true, y_pred)는 그 개수로 계산한 {"precision", "recall", "f1"}을 돌려줘요(분모가 0이면 0.0). 숨겨진 테스트가 내 숫자를 scikit-learn과 교차 확인하니, 정의가 정확해야 해요. 불균형한 분류기를 채점하려면 실행을 누르세요.
같은 길이의 0/1 레이블 리스트 두 개(1이 양성 클래스)에 대해 (tp, fp, fn, tn)을 돌려주는 confusion(y_true, y_pred)와, precision = TP/(TP+FP), recall = TP/(TP+FN), f1 = 2*P*R/(P+R)인 {"precision", "recall", "f1"}을 돌려주는 prf(y_true, y_pred)를 쓰세요. 분모가 0인 지표는 0.0을 돌려주세요(절대 0으로 나누지 마세요). 결과는 scikit-learn과 교차 확인돼요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.