분류에서 정확도 대 정밀도/재현율/F1
LLM 일의 큰 몫은 사실 분류예요: 이 티켓을 보내고, 이 감정에 라벨을 붙이고, 이 메시지를 스팸으로 표시해요. 그런 일에서 정확도만 보면 함정이에요. 95%가 햄인 메일함에서 스팸 필터를 만들면, 모든 것을 햄으로 라벨 붙이는 모델이 스팸을 하나도 못 잡으면서 정확도 95%를 받아요. 숫자는 좋아 보이고, 제품은 쓸모없어요. 그걸 보려면 실제로 신경 쓰는 클래스에 대해 정밀도, 재현율, F1을 나눠 봐야 해요.
양성 클래스(예: spam)를 고르고 네 칸을 세요:
- TP 참 양성: spam으로 예측했고, spam이었어요.
- FP 거짓 양성: spam으로 예측했는데, ham이었어요(좋은 메일이 정크로 감).
- FN 거짓 음성: ham으로 예측했는데, spam이었어요(빠져나간 스팸).
precision = TP / (TP + FP) # of what I flagged, how much was right
recall = TP / (TP + FN) # of the real positives, how many I caught
f1 = 2 * P * R / (P + R)
accuracy = correct / total # all classes, all predictions이것들은 서로 다른 방향으로 당겨요. 공격적으로 표시하면 재현율이 오르고 정밀도가 떨어져요. 보수적으로 표시하면 그 반대예요. F1은 어느 쪽도 무너지게 두지 않는 숫자 하나예요. 불균형한 세트에서는 정확도와 F1이 크게 갈라지고, 그게 바로 따로 계산하는 이유예요.
공식은 면접을 위해 줄줄 알 가치가 있으니 손으로 구현할 거예요. 하지만 검증된 라이브러리가 있을 때 손으로 짠 지표를 내보내면 결코 안 되니, 테스트는 숫자를 scikit-learn의 precision_score, recall_score, f1_score와도 대조해요. sklearn과 일치하면 제대로 구현한 거예요.
from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")만들 것. 각각 소수점 4자리로 round 한 dict {"accuracy", "precision", "recall", "f1"}를 돌려주는 classification_metrics(y_true, y_pred, positive_label). 분모가 0인 경우(예측한 양성 없음, 실제 양성 없음)는 0으로 나누는 대신 그 지표에 0.0을 돌려줘서 막으세요. Run을 눌러 보고서를 출력하고 불균형한 세트에서 정확도와 F1이 엇갈리는 걸 보세요.
고른 양성 클래스에 대해 각각 소수점 4자리로 round 한 {'accuracy', 'precision', 'recall', 'f1'}를 돌려주는 classification_metrics(y_true, y_pred, positive_label)를 쓰세요. positive_label에 대해 TP/FP/FN을 세세요. precision = TP/(TP+FP), recall = TP/(TP+FN), f1 = 조화 평균, accuracy = 맞힌 수/전체. 분모가 0인 지표에는 0.0을 돌려주세요. 숫자는 scikit-learn의 precision_score/recall_score/f1_score와 일치해야 해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.