강좌 내내 쓸 기울기 검사기
왜 중요한가 틀린 기울기는 충돌하지 않아요. 훈련이 그냥 조용히 나빠져요. 기울기 검사기는 실수를 몇 초 만에 잡고, 이걸 모든 모듈에서 쓰게 될 거예요.
생각은 모듈 2의 살짝 밀기를 모든 가중치에 하는 거예요: 가중치 i를 h만큼 위아래로 밀고, 두 번 다 손실을 재고, 차이를 2h로 나누세요. 공식의 기울기와 비교하세요.
얼마나 가까워야 가까운가?
상대 오차를 쓰세요: |a - b|를 |a|와 |b| 중 큰 것으로 나눈 것(둘 다 아주 작으면 1e-8). 1e-6 아래면 통과이고, 1e-3을 넘으면 거의 언제나 버그예요.
기울기 검사: 해석적 기울기(공식에서)를 수치적 기울기(살짝 밀기에서)와 비교하기.
요약 느리지만 믿을 만한 심판이에요. 새 기울기를 믿기 전에 쓰세요.
이 레슨의 단어와 기호
- 학습률 (lr)
- 각 훈련 단계가 얼마나 큰지
- 기울기 검사
- 자기 기울기 공식을 밀고-재는 추정과 비교하기
numeric_grad(f, w, h=1e-5)(w는 어떤 모양이든 NumPy 배열이고, 같은 모양의 배열을 반환해요)와 가장 큰 상대 오차를 반환하는 grad_check(f, grad, w)를 쓰세요. 여기서 f(w)는 가중치 배열을 받아 손실을 숫자 하나로 반환하고, grad는 함수가 아니라 배열(이미 계산한, w에서의 공식 기울기)이에요. w를 영구히 바꾸지 마세요. 어떤 모양의 배열이든 모든 위치를 방문하려면 for idx in np.ndindex(w.shape):가 각 인덱스 튜플을 차례로 줘요. 숨겨진 테스트는 검사기에 미묘하게 틀린 기울기 셋을 넣고, 각각 1e-3을 넘어야 해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.