클리닉: 데이터 결함
왜 중요한가 "버그는 언제나 모델에 있다"는 거짓이에요. 데이터 결함은 흔하고 잘 숨어요, 훈련 반복문 자체는 멀쩡하니까요.
누출: 검증 세트에 훈련 예시가 들어 있어서, 검증 정확도가 멋져 보이지만 아무 의미가 없어요. 섞지 않기: 배치가 한 번에 한 클래스씩 와서, 모델이 마지막에 본 클래스를 쫓고, 섞인 데이터에서 정확도가 나빠요. 틀린 레이블: 많은 훈련 레이블이 무작위라서, 모델이 배치 하나를 외울 수 있는데도 훈련 손실이 멀리 떨어지지 못해요.
아래 각 경우는 결함 하나를 심어 둔 훈련 실행이에요. 각각에 대해: 프로브를 써서 결함을 찾고, 그다음 설정 변경으로 수정을 쓰세요. 이 레슨의 결함: leak, no_shuffle, noisy_labels. 프로브는 적을수록 좋아요. 좋은 진단가는 경우마다 둘보다 많이 필요한 일이 드물어요.
| 프로브 | 알려 주는 것 |
|---|---|
loss_curve(c) | 50걸음마다의 훈련 손실과 최종 검증 정확도. 언제나 먼저 보세요. |
loss_at_init(c) | 훈련 전의 손실. 새 10클래스 모델은 ln(10) = 2.30 근처여야 해요. |
overfit_one_batch(c) | 예시 32개를 외울 수 있나? 건강한 설정은 0 근처에 가요. |
grad_norms(c) | 시작할 때 가중치 행렬마다의 기울기 크기. 0이면 아무것도 배울 수 없어요. |
update_ratio(c) | 가중치 크기에 대한 평범한 SGD 걸음 크기. 건강하면 약 0.001~0.1(평범한 SGD의 경험칙. 모듈 14가 왜 Adam은 다른지 보여 줘요). |
act_stats(c) | 은닉 활성화: 평균, 가장 큰 값, 죽은 유닛의 비율. |
lr_schedule(c) | 걸음 0, 50, 100 등에서의 학습률. |
batch_labels(c) | 처음 몇 배치의 레이블. |
overlap(c) | 검증 예시 중 몇 개가 훈련에도 나오는지. |
이 레슨의 단어와 기호
- 프로브
- 기울기 크기나 죽은 유닛 같은, 실행에 대한 빠른 측정
- 누출
- 테스트나 검증 정보가 훈련에 닿는 것
A, B, C 경우에 대해 diagnosis(경우에서 결함 이름으로)와 fixes(경우에서 설정 변경의 딕셔너리로)를 채우세요. 수정은 결함을 없애고 적어도 90% 검증 정확도까지 훈련돼야 해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.