강의 계획 레슨 246개 중 107번째 · 모듈 9: 정말 더 나은가?
모듈 9: 정말 더 나은가?

80% 확신은 80%의 경우에 맞는다는 뜻일까?

왜 중요한가 모델의 자신감은 정직할 때만 쓸모 있어요. "90% 확신"이라고 하고 절반만 맞는 의사의 조수는 위험해요.

모델이 약 80% 자신감으로 하는 모든 예측 중 약 80%가 맞으면 그 모델은 보정된 거예요. 확인하려면: 예측을 자신감별 구간(0~0.1, 0.1~0.2 등)으로 나누고, 각 구간에서 평균 자신감과 실제 정확도를 비교하세요. 하나를 다른 것에 대해 그리면 신뢰도 그림이고, 완벽한 보정은 대각선이에요.

기대 보정 오차(ECE)는 각 구간의 틈을, 거기 떨어진 예측의 수로 가중해서 합해요: sum over bins of (count / total) * |accuracy - confidence|.

작은 숫자

자신감 0.9인 예측 넷 중 둘이 맞으면: 그 구간의 틈은 |0.5 - 0.9| = 0.4예요. 그게 예측 전부라면 ECE = 0.4예요.

이 레슨의 단어와 기호
보정, ECE
자신감이 정확도와 맞는지, 그 가중 평균 틈
내 차례

0부터 1까지 같은 폭의 구간으로 ece(confidence, correct, bins=10)을 쓰세요(정확히 1.0인 자신감은 맨 위 구간에 들어가고, 빈 구간은 건너뛰세요).

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.