20개 층을 지나는 신호
왜 중요한가 깊은 신경망이 무언가를 배우기 전에, 신호가 모든 층을 지나는 여행을 견뎌야 해요. 흔히 견디지 못하고, 어떤 옵티마이저도 그걸 고칠 수 없어요.
무작위 입력 배치를 h = relu(h @ W) 20개 층에 통과시키고, 모든 가중치는 어떤 퍼짐의 정규 분포에서 뽑아요. 각 층 뒤에 활성화의 퍼짐(표준 편차)을 재세요.
작은 숫자
각 층은 신호의 전형적인 크기에 대략 같은 배율을 곱해요. 그 배율이 0.5면 20개 층 뒤의 신호는 0.5의 20제곱: 약 백만분의 일이에요. 2면 약 백만 배 커져요. 1 근처의 배율만 살아남아요.
요약 깊이는 층마다의 작은 변화를 거대한 변화로 바꿔요.
이 레슨의 단어와 기호
- Xavier, LeCun, He
- 시작 퍼짐: tanh에는 sqrt(2 / (inputs + outputs)) 또는 1 / sqrt(inputs), ReLU에는 sqrt(2 / inputs)
spreads(scale, depth=20, width=100, seed=0)을 쓰세요: h = rng.standard_normal((256, width))에서 시작하고, 그다음 층마다 W = rng.normal(0, scale, (width, width))를 뽑고 h = relu(h @ W)로 설정하세요. 각 층 뒤의 h.std() 리스트를 반환하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.