모듈 6: 시작 가중치와 정규화
훈련/평가 덫
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 테스트에서는 점수가 좋은데 사용할 때는 나쁜 모델, 눈에 보이는 이유도 없이: 아주 흔히 이 버그예요. 경험 많은 엔지니어도 속였어요.
작은 분류기에 BatchNorm 층이 있어요. 제대로 훈련됐고 이동 평균도 좋아요. 큰 배치로 점수를 매긴 테스트 세트에서는 잘해요. 한 번에 예시 하나씩 쓰면 너무 자주 틀려요.
먼저 탐정 일: 서로 다른 두 예시에 대해 BatchNorm 층이 무엇을 출력하는지 출력해 보고, 그게 어떤 통계로 정규화하고 있는지 스스로 물어보세요. 출력한 것에서 구하세요. 막히면 세 힌트가 거기까지 안내해요.
이 레슨의 단어와 기호
- Xavier, LeCun, He
- 시작 퍼짐: tanh에는 sqrt(2 / (inputs + outputs)) 또는 1 / sqrt(inputs), ReLU에는 sqrt(2 / inputs)
- BatchNorm (gamma, beta)
- 각 특성을 배치에 걸쳐 정규화하고, 그다음 학습한 gamma와 beta로 크기를 다시 바꾸기
내 차례
predict_one(x)은 한 번에 예시 하나씩 쓰이고, 정확도가 나빠요. 왜인지 알아내고, 그다음 따로 떼어 둔 정확도가 적어도 90%가 되도록 predict_one을 고치세요. cause를 원인을 대는 짧은 문구로 설정하세요.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.