강의 계획 레슨 246개 중 36번째 · 모듈 2: 수학과 확률, 필요한 만큼만
모듈 2: 수학과 확률, 필요한 만큼만

softmax의 기울기, 그리고 왜 손실이 그걸 숨기는지

왜 중요한가 softmax는 어텐션 안에 있고, 거기선 그 기울기가 따로 필요해요. 교차 엔트로피와 합치면 아주 단순한 것으로 무너지는데, 왜 그런지 알아야 단순한 버전을 믿을 수 있어요.

전체 기울기

p = softmax(z)에서 각 출력은 모든 점수에 달려 있어요. zj를 밀면 i = j일 때 pi는 pi (1 - pi) 곱하기 밀기만큼, i가 j가 아닐 때 - pi pj만큼 움직여요: 점수 하나를 올리면 다른 모두에게서 확률을 끌어와요. 표 하나(야코비안)로: diag(p) - p pT.

역방향은 결코 그 표를 만들지 않아요. g = dL/dp가 주어지면 z에 대한 기울기는 항목별로 p * (g - (g · p))예요: 각 pi 곱하기 자기 g가 확률 가중 평균 g를 얼마나 넘는지.

작은 숫자

p = [0.5, 0.3, 0.2], g = [1, 0, 0]. 그러면 g · p = 0.5이고, dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. 항목의 합이 0이에요: 모든 점수에 같은 양을 더하면 아무것도 바뀌지 않아요.

왜 교차 엔트로피가 그걸 단순하게 만드는지

L = -log py면 g는 진짜 클래스에서 -1 / py이고 그 밖에선 0이에요. 그걸 p * (g - (g · p))에 넣으면 p - onehot(y)가 돼요: 모듈 3이 쓴 공식. 단순한 형태는 지름길이 아니라 이 같은 기울기예요.

요약 softmax 역방향: p * (g - g · p). 위에 교차 엔트로피가 있으면: p - onehot.

이 레슨의 단어와 기호
softmax
각 점수의 exp를 합계로 나누기: 점수가 확률이 돼요
교차 엔트로피
맞는 답에 준 확률의 로그에 마이너스를 붙인 것
내 차례

softmax_jacobian(z)(점수의 1D 배열을 받아 (n, n) 표를 내보내요)와, 2D 배열(예시마다 행 하나)에 대해 표를 만들지 않고 행마다 p * (g - (g · p))를 쓰는 softmax_backward(z, g)를 쓰세요. 숨겨진 테스트는 둘 다 살짝 밀기와 대조하고, 교차 엔트로피의 g로는 답이 p - onehot인지 확인해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.