강의 계획 레슨 246개 중 35번째 · 모듈 2: 수학과 확률, 필요한 만큼만
모듈 2: 수학과 확률, 필요한 만큼만

교차 엔트로피는 변장한 가능도예요

왜 중요한가 분류기는 교차 엔트로피라는 손실로 훈련해요. 새롭게 들리지만, 두 레슨 전의 가능도 생각이에요.

작은 숫자

모델이 숫자 0, 1, 2의 확률이 [0.665, 0.245, 0.090]이라고 해요. 진짜 숫자는 0이에요. 모델은 진실이 얼마나 그럴듯하다고 생각했나요? 0.665. 최대 가능도에서는 그 숫자가 크길 원하고, 손실로서는 작은 걸 원하니, 로그에 마이너스를 붙여요: -log(0.665) = 0.408.

진짜 숫자가 2였다면 손실은 -log(0.090) = 2.41이에요: 모델이 진실에 9%만 줬으니 세게 벌받아요. 완벽한 예측(확률 1)은 손실이 0이에요.

교차 엔트로피 손실: 모델이 진짜 답에 준 확률의 로그에 마이너스를 붙여 예시들에 걸쳐 평균 낸 것. 정확히 음의 로그 가능도예요.

행마다 항목 하나 고르기

배치에서는 행마다 그 행의 진짜 열에 있는 확률이 필요해요. NumPy는 길이가 같은 인덱스 배열 둘로 이걸 해요: probs[rows, cols]는 probs[rows[0], cols[0]], probs[rows[1], cols[1]] 등을 골라요. probs = [[0.7, 0.3], [0.2, 0.8]]이고 레이블이 [0, 1]이면 probs[np.arange(2), labels]는 [0.7, 0.8]을 줘요: 0행 0열, 그다음 1행 1열. 이걸 팬시 인덱싱이라고 해요.

쓸모 있는 이정표: 10개 클래스에 걸쳐 고르게 추측하는 모델은 각각에 0.1을 주니, 손실은 -log(0.1) = 2.30이에요. 새 분류기는 그 근처에서 시작해요.

요약 손실 = -log(진실에 준 확률).

이 레슨의 단어와 기호
가능도
모델의 한 설정 아래에서 본 데이터가 얼마나 그럴듯한지
교차 엔트로피
맞는 답에 준 확률의 로그에 마이너스를 붙인 것
내 차례

cross_entropy(probs, labels)를 쓰세요: probs는 확률의 (batch, classes)이고, labels는 각 행의 진짜 클래스를 담고 있어요. -log(진짜 클래스의 확률)의 평균을 반환하세요. 반복문 금지. 그다음 uniform_10_loss를 10개 클래스에 걸친 고른 추측의 손실로 설정하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.