강의 계획 레슨 246개 중 85번째 · 모듈 6: 시작 가중치와 정규화
모듈 6: 시작 가중치와 정규화

관문: 훈련할 수 없는 깊은 신경망을 훈련되게 하기(AI 끄기)

왜 중요한가 배우지 않는 깊은 신경망을 고치는 건 이 분야에서 가장 흔한 실제 일 중 하나예요. 여기서는 혼자 해요.

AI 튜터는 꺼져 있어요. 아래 30층 신경망은 결코 동전 던지기를 벗어나지 못해요. 이 모듈의 무엇이든 써서 시작 방식과 블록 연결 방식을 바꿀 수 있지만, 폭 16인 은닉층 30개와 평범한 SGD 300걸음은 유지하세요.

이 레슨의 단어와 기호
Xavier, LeCun, He
시작 퍼짐: tanh에는 sqrt(2 / (inputs + outputs)) 또는 1 / sqrt(inputs), ReLU에는 sqrt(2 / inputs)
내 차례

훈련이 두 개의 달에서 적어도 90% 훈련 정확도에 도달하도록 build(rng)와 forward(params, X)를 고치세요.

AI 끔: 이 문제에는 튜터도, 힌트도, 풀이도 없어요. 내 생각만으로.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.