softmax의 기울기, 그리고 왜 손실이 그걸 숨기는지
왜 중요한가 softmax는 어텐션 안에 있고, 거기선 그 기울기가 따로 필요해요. 교차 엔트로피와 합치면 아주 단순한 것으로 무너지는데, 왜 그런지 알아야 단순한 버전을 믿을 수 있어요.
전체 기울기
p = softmax(z)에서 각 출력은 모든 점수에 달려 있어요. zj를 밀면 i = j일 때 pi는 pi (1 - pi) 곱하기 밀기만큼, i가 j가 아닐 때 - pi pj만큼 움직여요: 점수 하나를 올리면 다른 모두에게서 확률을 끌어와요. 표 하나(야코비안)로: diag(p) - p pT.
역방향은 결코 그 표를 만들지 않아요. g = dL/dp가 주어지면 z에 대한 기울기는 항목별로 p * (g - (g · p))예요: 각 pi 곱하기 자기 g가 확률 가중 평균 g를 얼마나 넘는지.
작은 숫자
p = [0.5, 0.3, 0.2], g = [1, 0, 0]. 그러면 g · p = 0.5이고, dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. 항목의 합이 0이에요: 모든 점수에 같은 양을 더하면 아무것도 바뀌지 않아요.
왜 교차 엔트로피가 그걸 단순하게 만드는지
L = -log py면 g는 진짜 클래스에서 -1 / py이고 그 밖에선 0이에요. 그걸 p * (g - (g · p))에 넣으면 p - onehot(y)가 돼요: 모듈 3이 쓴 공식. 단순한 형태는 지름길이 아니라 이 같은 기울기예요.
요약 softmax 역방향: p * (g - g · p). 위에 교차 엔트로피가 있으면: p - onehot.
이 레슨의 단어와 기호
- softmax
- 각 점수의 exp를 합계로 나누기: 점수가 확률이 돼요
- 교차 엔트로피
- 맞는 답에 준 확률의 로그에 마이너스를 붙인 것
softmax_jacobian(z)(점수의 1D 배열을 받아 (n, n) 표를 내보내요)와, 2D 배열(예시마다 행 하나)에 대해 표를 만들지 않고 행마다 p * (g - (g · p))를 쓰는 softmax_backward(z, g)를 쓰세요. 숨겨진 테스트는 둘 다 살짝 밀기와 대조하고, 교차 엔트로피의 g로는 답이 p - onehot인지 확인해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.