모듈 8: 실행 클리닉 I
조리법: 무엇보다 먼저 확인 둘
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 망가진 실행 대부분은 한 시간 훈련하기 전에, 싼 확인 둘로 1분 안에 잡을 수 있어요.
경험 많은 실무자는 모든 새 설정을 같은 방식으로 시작해요:
- 시작할 때 손실을 확인하세요. 훈련 전에, 아무것도 모르는 10클래스 모델은 모든 클래스에 약 0.1을 주니, 손실이 약 -ln(0.1) = 2.30이어야 해요. 그보다 훨씬 높으면 무언가 크기가 잘못됐다는 뜻이에요. 훨씬 낮으면 답이 입력을 통해 모델에 닿고 있다는 뜻이에요. 모든 누출이 여기서 드러나지는 않아요: 검증 이미지가 훈련 세트에도 있으면 시작 손실은 정상이고(이 클리닉의 건강한 실행과 누출 경우 모두 2.46에서 시작해요), 너무 좋은 검증 점수만이 그걸 드러내요.
- 배치 하나에 과적합하세요. 작은 배치 하나로 몇백 걸음 훈련하세요. 작동하는 모델과 훈련 반복문이라면 예시 32개를 외워서 손실을 0 근처로 몰 수 있어요. 못 한다면 버그는 모델, 손실, 기울기 안에 있고, 전체 데이터를 건드리지 않고 찾은 거예요.
- 그다음에야 전체 실행으로 키우세요.
이 클리닉은 일부러 망가뜨릴 수 있는 작은 숫자 분류기예요. config(**changes)가 설정을 만들고, train(c)가 그걸 실행해요.
| 프로브 | 알려 주는 것 |
|---|---|
loss_curve(c) | 50걸음마다의 훈련 손실과 최종 검증 정확도. 언제나 먼저 보세요. |
loss_at_init(c) | 훈련 전의 손실. 새 10클래스 모델은 ln(10) = 2.30 근처여야 해요. |
overfit_one_batch(c) | 예시 32개를 외울 수 있나? 건강한 설정은 0 근처에 가요. |
grad_norms(c) | 시작할 때 가중치 행렬마다의 기울기 크기. 0이면 아무것도 배울 수 없어요. |
update_ratio(c) | 가중치 크기에 대한 평범한 SGD 걸음 크기. 건강하면 약 0.001~0.1(평범한 SGD의 경험칙. 모듈 14가 왜 Adam은 다른지 보여 줘요). |
act_stats(c) | 은닉 활성화: 평균, 가장 큰 값, 죽은 유닛의 비율. |
lr_schedule(c) | 걸음 0, 50, 100 등에서의 학습률. |
batch_labels(c) | 처음 몇 배치의 레이블. |
overlap(c) | 검증 예시 중 몇 개가 훈련에도 나오는지. |
이 레슨의 단어와 기호
- 프로브
- 기울기 크기나 죽은 유닛 같은, 실행에 대한 빠른 측정
- 배치 하나에 과적합
- 설정이 예시 몇 개를 외울 수 있는지 확인하기
내 차례
프로브를 써서 init_ok(시작 손실이 2.30에서 0.3 안)와 can_overfit(배치 하나 과적합 손실이 0.1 아래)가 있는 딕셔너리를 반환하는 sanity(c)를 쓰세요. 건강한 설정과 suspect에 적용하세요.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.