강의 계획 레슨 246개 중 77번째 · 모듈 6: 시작 가중치와 정규화
모듈 6: 시작 가중치와 정규화

신호를 꾸준히 지키는 척도(Xavier와 He)

왜 중요한가 "시작 가중치가 얼마나 커야 하나"에는 정확한 답이 있어요. 그걸 쓰면 깊은 신경망이 훈련할 수 있게 돼요.

작은 숫자

층의 출력 하나는 입력과 가중치의 곱 n_in개를 더해요. 입력의 퍼짐이 1이고 가중치의 퍼짐이 s면, 그런 항 n_in개의 합은 퍼짐이 s 곱하기 sqrt(n_in)이에요(분산은 더해져요: 모듈 2, "퍼짐이 어떻게 더해지는지"). 그걸 1로 유지하려면 s = 1 / sqrt(n_in)을 고르세요. 그게 LeCun 초기화예요. Xavier(Glorot라고도 해요) 초기화는 n_out에 달린, 돌아오는 길의 기울기도 꾸준히 지켜서, 그 차이를 반반 나눠요: s = sqrt(2 / (n_in + n_out)). n_in이 n_out과 같으면 둘은 같아요. 둘 다 tanh에 맞아요.

ReLU는 음수 절반을 버려서 평균 제곱 크기를 반으로 줄여요. 분산을 두 배로 해서 보충하세요: s = sqrt(2 / n_in). 그게 He 초기화이고, ReLU에 맞아요. 폭 100이면 He는 sqrt(0.02) = 0.141을 줘요: 지난 레슨의 "ok" 척도 그대로예요.

요약 tanh: Xavier, sqrt(2 / (n_in + n_out)), 또는 LeCun, 1 / sqrt(n_in). ReLU: He, sqrt(2 / n_in).

이 레슨의 단어와 기호
초기화
훈련이 시작되기 전에 가중치를 정하는 방법
Xavier, LeCun, He
시작 퍼짐: tanh에는 sqrt(2 / (inputs + outputs)) 또는 1 / sqrt(inputs), ReLU에는 sqrt(2 / inputs)
내 차례

가중치 행렬을 반환하는 xavier(n_in, n_out, rng)와 he(n_in, n_out, rng)를 쓰세요. He 가중치로, 폭 256인 ReLU 층 20개 뒤의 활성화 퍼짐이 0.2와 5 사이에 머물러야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.