강의 계획 레슨 246개 중 76번째 · 모듈 6: 시작 가중치와 정규화
모듈 6: 시작 가중치와 정규화

너무 작거나 너무 크면: 소실과 폭발

왜 중요한가 사라진 신호는 모든 기울기가 거의 0이라 훈련이 멈춘다는 뜻이에요. 폭발한 신호는 넘침과 nan을 뜻해요. 둘 다 시작 가중치에서 와요.

보기

애니메이션을 재생하세요: 같은 20층 더미를 세 가지 방식으로 시작했어요. 너무 작으면 신호가 층마다 사라져 아무것도 남지 않아요. 너무 크면 두 배, 또 두 배가 되어 넘쳐요. 딱 맞으면 끝까지 꾸준히 유지돼요. 돌아오는 길의 기울기도 같은 운명을 겪어요.

소실: 활성화나 기울기가 층을 지나며 0 쪽으로 줄어드는 것. 폭발: 끝없이 커지는 것.

이 레슨의 단어와 기호
소실, 폭발
신호나 기울기가 층을 지나며 아무것도 아닌 것으로 줄거나 끝없이 커지는 것
Xavier, LeCun, He
시작 퍼짐: tanh에는 sqrt(2 / (inputs + outputs)) 또는 1 / sqrt(inputs), ReLU에는 sqrt(2 / inputs)
내 차례

지난 레슨의 spreads(제공됨)를 써서, 최종 퍼짐이 1e-3 아래면 "vanish"를, 1e3을 넘으면 "explode"를, 아니면 "ok"를 반환하는 verdict(scale)을 쓰세요. 그다음 실행하기 전에 척도 0.05, 0.14, 0.5에 대한 my_predictions를 채우세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.