강의 계획 레슨 246개 중 75번째 · 모듈 6: 시작 가중치와 정규화
모듈 6: 시작 가중치와 정규화

20개 층을 지나는 신호

왜 중요한가 깊은 신경망이 무언가를 배우기 전에, 신호가 모든 층을 지나는 여행을 견뎌야 해요. 흔히 견디지 못하고, 어떤 옵티마이저도 그걸 고칠 수 없어요.

무작위 입력 배치를 h = relu(h @ W) 20개 층에 통과시키고, 모든 가중치는 어떤 퍼짐의 정규 분포에서 뽑아요. 각 층 뒤에 활성화의 퍼짐(표준 편차)을 재세요.

작은 숫자

각 층은 신호의 전형적인 크기에 대략 같은 배율을 곱해요. 그 배율이 0.5면 20개 층 뒤의 신호는 0.5의 20제곱: 약 백만분의 일이에요. 2면 약 백만 배 커져요. 1 근처의 배율만 살아남아요.

요약 깊이는 층마다의 작은 변화를 거대한 변화로 바꿔요.

이 레슨의 단어와 기호
Xavier, LeCun, He
시작 퍼짐: tanh에는 sqrt(2 / (inputs + outputs)) 또는 1 / sqrt(inputs), ReLU에는 sqrt(2 / inputs)
내 차례

spreads(scale, depth=20, width=100, seed=0)을 쓰세요: h = rng.standard_normal((256, width))에서 시작하고, 그다음 층마다 W = rng.normal(0, scale, (width, width))를 뽑고 h = relu(h @ W)로 설정하세요. 각 층 뒤의 h.std() 리스트를 반환하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.