강의 계획 레슨 246개 중 82번째 · 모듈 6: 시작 가중치와 정규화
모듈 6: 시작 가중치와 정규화

훈련/평가 덫

왜 중요한가 테스트에서는 점수가 좋은데 사용할 때는 나쁜 모델, 눈에 보이는 이유도 없이: 아주 흔히 이 버그예요. 경험 많은 엔지니어도 속였어요.

작은 분류기에 BatchNorm 층이 있어요. 제대로 훈련됐고 이동 평균도 좋아요. 큰 배치로 점수를 매긴 테스트 세트에서는 잘해요. 한 번에 예시 하나씩 쓰면 너무 자주 틀려요.

먼저 탐정 일: 서로 다른 두 예시에 대해 BatchNorm 층이 무엇을 출력하는지 출력해 보고, 그게 어떤 통계로 정규화하고 있는지 스스로 물어보세요. 출력한 것에서 구하세요. 막히면 세 힌트가 거기까지 안내해요.

이 레슨의 단어와 기호
Xavier, LeCun, He
시작 퍼짐: tanh에는 sqrt(2 / (inputs + outputs)) 또는 1 / sqrt(inputs), ReLU에는 sqrt(2 / inputs)
BatchNorm (gamma, beta)
각 특성을 배치에 걸쳐 정규화하고, 그다음 학습한 gamma와 beta로 크기를 다시 바꾸기
내 차례

predict_one(x)은 한 번에 예시 하나씩 쓰이고, 정확도가 나빠요. 왜인지 알아내고, 그다음 따로 떼어 둔 정확도가 적어도 90%가 되도록 predict_one을 고치세요. cause를 원인을 대는 짧은 문구로 설정하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.