강의 계획 레슨 246개 중 95번째 · 모듈 8: 실행 클리닉 I
모듈 8: 실행 클리닉 I

자기 프로브

왜 중요한가 프로브는 실행 안을 보는 방법이에요. 직접 쓰면 도구가 그 숫자를 보여 줄 때 무엇을 뜻하는지 알게 돼요.

프로브 셋이 일의 대부분을 해요:

  • 층별 기울기 크기: 각 가중치 행렬의 기울기의 길이(노름). 모두 0이면: 아무것도 배우지 않아요. 층 사이에 크게 다르면: 한 층이 굶주리고 있어요.
  • 죽은 비율: 배치의 모든 예시에 0을 출력하는 은닉 유닛의 비율.
  • 업데이트 대 가중치 비율: 학습률 곱하기 기울기 크기를 가중치 크기로 나눈 것. 한 걸음이 각 가중치의 몇 분의 몇을 바꾸는지 말해 줘요. 약 0.001~0.1이면 건강하고, 1 근처면 각 걸음이 가중치를 다시 쓰고, 0 근처면 아무것도 움직이지 않아요.

하네스는 내부를 드러내요: _data(c)는 훈련 데이터를, _init(c)는 시작 가중치를 주고, _fb(p, X, y, c)는 (손실, 기울기, 은닉 활성화)를 반환해요.

이 레슨의 단어와 기호
프로브
기울기 크기나 죽은 유닛 같은, 실행에 대한 빠른 측정
업데이트 대 가중치 비율
한 걸음이 각 가중치를 그 크기에 비해 얼마나 바꾸는지
내 차례

처음 256개 훈련 예시와 시작 가중치를 써서 my_grad_norms(c), my_dead_share(c), my_update_ratio(c)를 쓰세요. 클리닉의 프로브와 맞아야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.