모듈 6: 시작 가중치와 정규화
관문: 훈련할 수 없는 깊은 신경망을 훈련되게 하기(AI 끄기)
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 배우지 않는 깊은 신경망을 고치는 건 이 분야에서 가장 흔한 실제 일 중 하나예요. 여기서는 혼자 해요.
AI 튜터는 꺼져 있어요. 아래 30층 신경망은 결코 동전 던지기를 벗어나지 못해요. 이 모듈의 무엇이든 써서 시작 방식과 블록 연결 방식을 바꿀 수 있지만, 폭 16인 은닉층 30개와 평범한 SGD 300걸음은 유지하세요.
이 레슨의 단어와 기호
- Xavier, LeCun, He
- 시작 퍼짐: tanh에는 sqrt(2 / (inputs + outputs)) 또는 1 / sqrt(inputs), ReLU에는 sqrt(2 / inputs)
내 차례
훈련이 두 개의 달에서 적어도 90% 훈련 정확도에 도달하도록 build(rng)와 forward(params, X)를 고치세요.
AI 끔: 이 문제에는 튜터도, 힌트도, 풀이도 없어요. 내 생각만으로.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.