80% 확신은 80%의 경우에 맞는다는 뜻일까?
왜 중요한가 모델의 자신감은 정직할 때만 쓸모 있어요. "90% 확신"이라고 하고 절반만 맞는 의사의 조수는 위험해요.
모델이 약 80% 자신감으로 하는 모든 예측 중 약 80%가 맞으면 그 모델은 보정된 거예요. 확인하려면: 예측을 자신감별 구간(0~0.1, 0.1~0.2 등)으로 나누고, 각 구간에서 평균 자신감과 실제 정확도를 비교하세요. 하나를 다른 것에 대해 그리면 신뢰도 그림이고, 완벽한 보정은 대각선이에요.
기대 보정 오차(ECE)는 각 구간의 틈을, 거기 떨어진 예측의 수로 가중해서 합해요: sum over bins of (count / total) * |accuracy - confidence|.
작은 숫자
자신감 0.9인 예측 넷 중 둘이 맞으면: 그 구간의 틈은 |0.5 - 0.9| = 0.4예요. 그게 예측 전부라면 ECE = 0.4예요.
이 레슨의 단어와 기호
- 보정, ECE
- 자신감이 정확도와 맞는지, 그 가중 평균 틈
0부터 1까지 같은 폭의 구간으로 ece(confidence, correct, bins=10)을 쓰세요(정확히 1.0인 자신감은 맨 위 구간에 들어가고, 빈 구간은 건너뛰세요).
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.