모듈 6: 시작 가중치와 정규화
너무 작거나 너무 크면: 소실과 폭발
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 사라진 신호는 모든 기울기가 거의 0이라 훈련이 멈춘다는 뜻이에요. 폭발한 신호는 넘침과 nan을 뜻해요. 둘 다 시작 가중치에서 와요.
보기
애니메이션을 재생하세요: 같은 20층 더미를 세 가지 방식으로 시작했어요. 너무 작으면 신호가 층마다 사라져 아무것도 남지 않아요. 너무 크면 두 배, 또 두 배가 되어 넘쳐요. 딱 맞으면 끝까지 꾸준히 유지돼요. 돌아오는 길의 기울기도 같은 운명을 겪어요.
소실: 활성화나 기울기가 층을 지나며 0 쪽으로 줄어드는 것. 폭발: 끝없이 커지는 것.
이 레슨의 단어와 기호
- 소실, 폭발
- 신호나 기울기가 층을 지나며 아무것도 아닌 것으로 줄거나 끝없이 커지는 것
- Xavier, LeCun, He
- 시작 퍼짐: tanh에는 sqrt(2 / (inputs + outputs)) 또는 1 / sqrt(inputs), ReLU에는 sqrt(2 / inputs)
내 차례
지난 레슨의 spreads(제공됨)를 써서, 최종 퍼짐이 1e-3 아래면 "vanish"를, 1e3을 넘으면 "explode"를, 아니면 "ok"를 반환하는 verdict(scale)을 쓰세요. 그다음 실행하기 전에 척도 0.05, 0.14, 0.5에 대한 my_predictions를 채우세요.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.