역전파와 기울기 확인
가중치를 내리막으로 살살 밀어 장난감 모델을 훈련했어요. 그런데 기울기는 어디서 오고, 그게 맞는지 어떻게 알까요? 이 레슨은 둘 다 답하고, 두 번째 답인 기울기 확인은 작동하는 신경망과 조용히 망가진 신경망을 가르는 단 하나의 습관이에요.
역전파는 연쇄 법칙일 뿐이에요. 작은 모델에 예시 하나를 통과시켜요: z = w * x를 예측하고, 제곱 오차 L = (z - y)**2를 재요. w를 나아지게 하려면 dL/dw가 필요해요. 두 번 건너뛰어 계산하고 곱해요:
dL/dz = 2 * (z - y) # how loss moves with the prediction
dz/dw = x # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * x그 곱이 작은 판의 역전파 자체예요: 각 층이 거꾸로 흐르는 기울기에 자기 국소 도함수를 곱해요. 이걸 백만 개 쌓으면 깊은 네트워크가 돼요.
이제, 공식이 맞을까요? 수치로 확인하세요. 도함수의 정의는 아주 작은 밀기이니, 중심 유한 차분으로 추정하고 해석적 기울기가 일치하는지 확인해요:
numeric = (L(w + h) - L(w - h)) / (2 * h) # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6 # they should agree to many digits일치하지 않으면 역전파에 버그가 있어요. 진지한 모든 딥러닝 코드베이스가 정확히 이 이유로 기울기를 확인해요.
함수 두 개를 만드세요. loss(w, x, y)는 (w*x - y)**2를 돌려줘요. grad(w, x, y)는 해석적 기울기 dL/dw = 2*(w*x - y)*x를 돌려줘요. 숨은 테스트가 여러 무작위 점에서 여러분의 grad를 여러분 자신의 loss의 유한 차분과 대조해 기울기를 확인하니, 틀린 공식은 통과할 수 없어요. Run을 눌러 해석적 값과 수치 값이 줄지어 맞는 걸 보세요.
제곱 오차 (w*x - y)**2를 돌려주는 loss(w, x, y)와, w에 대한 해석적 기울기, 즉 연쇄 법칙으로 2*(w*x - y)*x를 돌려주는 grad(w, x, y)를 쓰세요. 여러분의 grad는 여러 무작위 점에서 여러분 자신의 loss의 중심 유한 차분과 대조해 기울기 확인을 받으니, 근사나 상수가 아니라 진짜 도함수여야 해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.