강의 계획 레슨 246개 중 78번째 · 모듈 6: 시작 가중치와 정규화
모듈 6: 시작 가중치와 정규화

죽은 ReLU

왜 중요한가 모든 입력에 꺼져 있는 ReLU는 기울기를 전혀 통과시키지 않아서, 다시는 배우지 못해요. 층 전체가 조용히 죽을 수 있어요.

유닛은 배치의 모든 예시에서 출력이 0이면 죽은 거예요. 흔한 원인: 큰 음수 편향, 또는 가중치를 멀리 음수로 민 엄청난 업데이트 하나.

작은 숫자

예시 4개와 유닛 3개의 활성화: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. 유닛 1은 어디서나 0이에요: 죽었어요. 유닛 3은 한 번 발화했어요: 살아 있어요. 죽은 비율: 3개 중 1개.

해결책: 적당한 시작 가중치, 0에서(또는 약간 양수에서) 시작하는 편향, 더 작은 학습률, 또는 음수 입력에 작은 기울기(예를 들어 0.01)를 남겨서 유닛이 회복할 수 있게 하는 leaky ReLU.

이 레슨의 단어와 기호
Xavier, LeCun, He
시작 퍼짐: tanh에는 sqrt(2 / (inputs + outputs)) 또는 1 / sqrt(inputs), ReLU에는 sqrt(2 / inputs)
내 차례

활성화 행렬(예시 × 유닛)에 대한 dead_fraction(H)를 쓰세요. 그다음 편향 -4로 시작한 아래 층에 대해, 같은 가중치를 지키되 편향 0과 기울기 0.01의 leaky ReLU를 쓰는 fixed_layer(X, W)를 쓰세요. 그 죽은 비율(정확히 0인 출력을 세서)은 0이어야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.