신호를 꾸준히 지키는 척도(Xavier와 He)
왜 중요한가 "시작 가중치가 얼마나 커야 하나"에는 정확한 답이 있어요. 그걸 쓰면 깊은 신경망이 훈련할 수 있게 돼요.
작은 숫자
층의 출력 하나는 입력과 가중치의 곱 n_in개를 더해요. 입력의 퍼짐이 1이고 가중치의 퍼짐이 s면, 그런 항 n_in개의 합은 퍼짐이 s 곱하기 sqrt(n_in)이에요(분산은 더해져요: 모듈 2, "퍼짐이 어떻게 더해지는지"). 그걸 1로 유지하려면 s = 1 / sqrt(n_in)을 고르세요. 그게 LeCun 초기화예요. Xavier(Glorot라고도 해요) 초기화는 n_out에 달린, 돌아오는 길의 기울기도 꾸준히 지켜서, 그 차이를 반반 나눠요: s = sqrt(2 / (n_in + n_out)). n_in이 n_out과 같으면 둘은 같아요. 둘 다 tanh에 맞아요.
ReLU는 음수 절반을 버려서 평균 제곱 크기를 반으로 줄여요. 분산을 두 배로 해서 보충하세요: s = sqrt(2 / n_in). 그게 He 초기화이고, ReLU에 맞아요. 폭 100이면 He는 sqrt(0.02) = 0.141을 줘요: 지난 레슨의 "ok" 척도 그대로예요.
요약 tanh: Xavier, sqrt(2 / (n_in + n_out)), 또는 LeCun, 1 / sqrt(n_in). ReLU: He, sqrt(2 / n_in).
이 레슨의 단어와 기호
- 초기화
- 훈련이 시작되기 전에 가중치를 정하는 방법
- Xavier, LeCun, He
- 시작 퍼짐: tanh에는 sqrt(2 / (inputs + outputs)) 또는 1 / sqrt(inputs), ReLU에는 sqrt(2 / inputs)
가중치 행렬을 반환하는 xavier(n_in, n_out, rng)와 he(n_in, n_out, rng)를 쓰세요. He 가중치로, 폭 256인 ReLU 층 20개 뒤의 활성화 퍼짐이 0.2와 5 사이에 머물러야 해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.