강의 계획 레슨 246개 중 84번째 · 모듈 6: 시작 가중치와 정규화
모듈 6: 시작 가중치와 정규화

지름길(잔차 연결)

왜 중요한가 잔차 연결은 층이 수백 개인 신경망이 아예 훈련되는 이유예요. 모든 트랜스포머 블록이 그걸 써요.

평범한 층은 입력을 대체해요: h = f(h). 잔차 블록은 거기에 더해요: h = h + f(h). f가 쓸모 있는 걸 아무것도 배우지 못하면, 블록은 그냥 h를 그대로 통과시키니, 처음에 추가 깊이가 결코 상황을 나쁘게 할 수 없어요. 그리고 돌아오는 길에 기울기는 "+ h" 경로를 따라 층을 완전히 건너뛰는 직통로가 있어서, 사라질 수 없어요.

아래 실험에 대한 공정한 경고: 두 신경망 모두 일부러 작게 한 같은 가중치 N(0, 0.1)에서 시작해요. 그 시작이 평범한 신경망을 가라앉혀요. 이 모듈 앞부분의 He 시작 가중치를 쓰면 평범한 30층 신경망도 훈련돼요(강좌의 실행에서 시드 6개 중 5개). 지름길이 더하는 건 튼튼함이에요: 나쁜 시작에서도 훈련되고, 꼼꼼한 시작 가중치만으로는 부족해지는 깊이에서도 계속 작동해요.

여기서 각 블록의 기여는 1 / depth로도 크기가 조정되는데, 덧셈 30번이 신호를 폭발시키지 않게 하는 흔한 요령이에요.

잔차 연결(또는 스킵 연결, 지름길): 블록의 입력을 출력에 더하기.

곡선 맞히기: 평범한 신경망과 지름길이 있는 신경망에 대해 150걸음 뒤의 최종 손실을 추측하세요. (손실 0.693은 이 2클래스 과제에서 동전 던지기를 뜻해요.)

이 레슨의 단어와 기호
Xavier, LeCun, He
시작 퍼짐: tanh에는 sqrt(2 / (inputs + outputs)) 또는 1 / sqrt(inputs), ReLU에는 sqrt(2 / inputs)
잔차 연결
블록의 입력을 출력에 더하기: h + f(h)
내 차례

my_guess를 채우세요. 그다음 block(h, W, b, shortcuts, depth)를 쓰세요: 지름길이 없으면 relu(h @ W + b)를, 있으면 h + relu(h @ W + b) * (1 / depth)를 반환하세요. 테스트는 같은 작은 시작 가중치에서 30층 신경망 둘을 다 훈련해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.