거절 보정하기: 과잉 거절 대 과소 거절
공격을 막는 건 안전의 절반일 뿐이에요. 나머지 절반은 지나치게 막지 않는 거예요. 조금이라도 매운 질문을 모두 거절하는 모델은 안전하지만 쓸모없어요. 토스트를 구울 때 울리는 화재경보기의 안전판이에요. 같은 레이블 세트에서 두 실패 방식을 모두 재고, 그 사이의 선을 맞춰야 해요.
앱이 해야 할 일이 레이블 붙은 프롬프트 세트를 가져와요: "refuse"(진짜 해로움) 또는 "answer"(무해함). 경비는 프롬프트마다 위험 점수를 내고, 점수가 기준을 넘으면 거절해요. 두 가지 오류가 일어날 수 있어요:
- 과잉 거절(거짓 양성): 답했어야 할 프롬프트를 거절했어요. 짜증 나고, 사용자를 쫓아내요.
- 과소 거절(거짓 음성): 거절했어야 할 프롬프트에 답했어요. 위험하고, 헤드라인감 위험이에요.
"refuse"를 양성 클래스로 두면, 표준 지표가 이야기 전체를 말해 줘요:
precision = TP / (TP + FP) # of what I refused, how much truly needed refusing
recall = TP / (TP + FN) # of the truly-harmful, how much I caught
f1 = 2 * P * R / (P + R)정밀도가 낮으면 과잉 거절하고 있다는 뜻이에요(거절 중에 무해한 프롬프트가 많음). 재현율이 낮으면 과소 거절하고 있다는 뜻이에요(해로운 프롬프트가 빠져나감). 기준을 움직이면 둘이 맞바꿔져요: 공격적으로 거절하면 재현율은 오르고 정밀도는 떨어지고, 보수적으로 거절하면 그 반대예요. refusal_metrics(scores, labels, threshold)를 쓰고, 그다음 후보 기준들을 훑어 F1이 가장 높은 것을 돌려주는 best_threshold(scores, labels, candidates)를 써요. F1은 어느 오류도 혼자 치닫게 두지 않는 하나의 숫자예요.
테스트가 확인하는 정확성 세부 두 가지. score >= threshold일 때 거절하세요(크거나 같음이니, 정확히 선 위의 점수는 거절돼요). 그리고 지표의 분모가 0일 때(아무것도 거절하지 않아 정밀도가 정의되지 않을 때)는 멈추지 말고 0.0을 돌려주세요. 내 지표는 zero_division=0인 scikit-learn의 precision_score, recall_score, f1_score와 일치해야 해요. 시험된 라이브러리와 다른 손수 만든 지표는 절대 내보내면 안 되니까요.
labels가 "refuse"/"answer"이고 score >= threshold일 때 refuse로 예측하는 refusal_metrics(scores, labels, threshold)를 쓰세요. "refuse"를 양성으로 두고 각각 소수 넷째 자리로 round 한 {"precision", "recall", "f1"}을 돌려주되, 분모가 0인 지표는 0.0으로 하세요(zero_division=0인 sklearn과 일치해야 해요). 그다음 F1이 가장 높은 후보를 돌려주는(동점이면 가장 낮은 기준이 이김) best_threshold(scores, labels, candidates)를 쓰고, best = best_threshold(SCORES, LABELS, CANDIDATES)로 정하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.