강의 계획 레슨 246개 중 94번째 · 모듈 8: 실행 클리닉 I
모듈 8: 실행 클리닉 I

조리법: 무엇보다 먼저 확인 둘

왜 중요한가 망가진 실행 대부분은 한 시간 훈련하기 전에, 싼 확인 둘로 1분 안에 잡을 수 있어요.

경험 많은 실무자는 모든 새 설정을 같은 방식으로 시작해요:

  1. 시작할 때 손실을 확인하세요. 훈련 전에, 아무것도 모르는 10클래스 모델은 모든 클래스에 약 0.1을 주니, 손실이 약 -ln(0.1) = 2.30이어야 해요. 그보다 훨씬 높으면 무언가 크기가 잘못됐다는 뜻이에요. 훨씬 낮으면 답이 입력을 통해 모델에 닿고 있다는 뜻이에요. 모든 누출이 여기서 드러나지는 않아요: 검증 이미지가 훈련 세트에도 있으면 시작 손실은 정상이고(이 클리닉의 건강한 실행과 누출 경우 모두 2.46에서 시작해요), 너무 좋은 검증 점수만이 그걸 드러내요.
  2. 배치 하나에 과적합하세요. 작은 배치 하나로 몇백 걸음 훈련하세요. 작동하는 모델과 훈련 반복문이라면 예시 32개를 외워서 손실을 0 근처로 몰 수 있어요. 못 한다면 버그는 모델, 손실, 기울기 안에 있고, 전체 데이터를 건드리지 않고 찾은 거예요.
  3. 그다음에야 전체 실행으로 키우세요.

이 클리닉은 일부러 망가뜨릴 수 있는 작은 숫자 분류기예요. config(**changes)가 설정을 만들고, train(c)가 그걸 실행해요.

프로브알려 주는 것
loss_curve(c)50걸음마다의 훈련 손실과 최종 검증 정확도. 언제나 먼저 보세요.
loss_at_init(c)훈련 전의 손실. 새 10클래스 모델은 ln(10) = 2.30 근처여야 해요.
overfit_one_batch(c)예시 32개를 외울 수 있나? 건강한 설정은 0 근처에 가요.
grad_norms(c)시작할 때 가중치 행렬마다의 기울기 크기. 0이면 아무것도 배울 수 없어요.
update_ratio(c)가중치 크기에 대한 평범한 SGD 걸음 크기. 건강하면 약 0.001~0.1(평범한 SGD의 경험칙. 모듈 14가 왜 Adam은 다른지 보여 줘요).
act_stats(c)은닉 활성화: 평균, 가장 큰 값, 죽은 유닛의 비율.
lr_schedule(c)걸음 0, 50, 100 등에서의 학습률.
batch_labels(c)처음 몇 배치의 레이블.
overlap(c)검증 예시 중 몇 개가 훈련에도 나오는지.
이 레슨의 단어와 기호
프로브
기울기 크기나 죽은 유닛 같은, 실행에 대한 빠른 측정
배치 하나에 과적합
설정이 예시 몇 개를 외울 수 있는지 확인하기
내 차례

프로브를 써서 init_ok(시작 손실이 2.30에서 0.3 안)와 can_overfit(배치 하나 과적합 손실이 0.1 아래)가 있는 딕셔너리를 반환하는 sanity(c)를 쓰세요. 건강한 설정과 suspect에 적용하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.