모듈 8: 실행 클리닉 I
자기 프로브
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 프로브는 실행 안을 보는 방법이에요. 직접 쓰면 도구가 그 숫자를 보여 줄 때 무엇을 뜻하는지 알게 돼요.
프로브 셋이 일의 대부분을 해요:
- 층별 기울기 크기: 각 가중치 행렬의 기울기의 길이(노름). 모두 0이면: 아무것도 배우지 않아요. 층 사이에 크게 다르면: 한 층이 굶주리고 있어요.
- 죽은 비율: 배치의 모든 예시에 0을 출력하는 은닉 유닛의 비율.
- 업데이트 대 가중치 비율: 학습률 곱하기 기울기 크기를 가중치 크기로 나눈 것. 한 걸음이 각 가중치의 몇 분의 몇을 바꾸는지 말해 줘요. 약 0.001~0.1이면 건강하고, 1 근처면 각 걸음이 가중치를 다시 쓰고, 0 근처면 아무것도 움직이지 않아요.
하네스는 내부를 드러내요: _data(c)는 훈련 데이터를, _init(c)는 시작 가중치를 주고, _fb(p, X, y, c)는 (손실, 기울기, 은닉 활성화)를 반환해요.
이 레슨의 단어와 기호
- 프로브
- 기울기 크기나 죽은 유닛 같은, 실행에 대한 빠른 측정
- 업데이트 대 가중치 비율
- 한 걸음이 각 가중치를 그 크기에 비해 얼마나 바꾸는지
내 차례
처음 256개 훈련 예시와 시작 가중치를 써서 my_grad_norms(c), my_dead_share(c), my_update_ratio(c)를 쓰세요. 클리닉의 프로브와 맞아야 해요.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.