죽은 ReLU
왜 중요한가 모든 입력에 꺼져 있는 ReLU는 기울기를 전혀 통과시키지 않아서, 다시는 배우지 못해요. 층 전체가 조용히 죽을 수 있어요.
유닛은 배치의 모든 예시에서 출력이 0이면 죽은 거예요. 흔한 원인: 큰 음수 편향, 또는 가중치를 멀리 음수로 민 엄청난 업데이트 하나.
작은 숫자
예시 4개와 유닛 3개의 활성화: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. 유닛 1은 어디서나 0이에요: 죽었어요. 유닛 3은 한 번 발화했어요: 살아 있어요. 죽은 비율: 3개 중 1개.
해결책: 적당한 시작 가중치, 0에서(또는 약간 양수에서) 시작하는 편향, 더 작은 학습률, 또는 음수 입력에 작은 기울기(예를 들어 0.01)를 남겨서 유닛이 회복할 수 있게 하는 leaky ReLU.
이 레슨의 단어와 기호
- Xavier, LeCun, He
- 시작 퍼짐: tanh에는 sqrt(2 / (inputs + outputs)) 또는 1 / sqrt(inputs), ReLU에는 sqrt(2 / inputs)
활성화 행렬(예시 × 유닛)에 대한 dead_fraction(H)를 쓰세요. 그다음 편향 -4로 시작한 아래 층에 대해, 같은 가중치를 지키되 편향 0과 기울기 0.01의 leaky ReLU를 쓰는 fixed_layer(X, W)를 쓰세요. 그 죽은 비율(정확히 0인 출력을 세서)은 0이어야 해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.