드롭아웃, 만들어 보기
왜 중요한가 드롭아웃은 신경망이 어느 한 유닛에 너무 기대지 않게 하는 단순한 방법이고, 많은 모델 안에서 보게 될 거예요.
훈련 동안 드롭아웃은 매 걸음 각 유닛을 확률 p(예를 들어 0.5)로 무작위로 꺼요. 신경망은 어느 한 유닛에 기댈 수 없어요, 다음 걸음에 없을 수도 있으니까요. 그래서 아는 걸 여러 유닛에 퍼뜨려요.
평균을 맞게 지키기
유닛 절반이 꺼지면 다음 층은 신호를 약 절반만 받아요. 현대의 역 드롭아웃은 훈련 중에 이걸 고쳐요: 살아남은 유닛에 1 / (1 - p), 여기서는 2를 곱해요. 평가 때 드롭아웃은 아무것도 하지 않고, 평균 신호는 훈련과 맞아요. (원래 2014년 논문은 대신 평가 때 크기를 바꿨어요. 결과는 같지만, 역 드롭아웃은 평가 코드를 건드리지 않아요.)
드롭아웃 비율 p: 훈련 중에 유닛을 끌 확률.
이 레슨의 단어와 기호
- 드롭아웃 (p)
- 훈련 중에 유닛을 확률 p로 무작위로 끄기
dropout(h, p, training, rng)을 쓰세요: 훈련에서는 각 항목을 확률 p로 0으로 만들고 살아남은 것에 1 / (1 - p)를 곱하고, 아니면 h를 그대로 반환하세요. 남길 마스크로 rng.random(h.shape) >= p를 쓰세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.