강의 계획 레슨 246개 중 101번째 · 모듈 8: 실행 클리닉 I
모듈 8: 실행 클리닉 I

관문: 처음 보는 망가진 실행 셋(AI 끄기)

왜 중요한가 예산 안에서 혼자 진단하는 것이 이 모듈이 노리는 기술이에요.

AI 튜터는 꺼져 있어요. 실행 셋, 각각 이 모듈 어디에서든 온 결함 하나. 연습 경우가 아니라 새 실행이에요: 다른 시드, 다른 배치 크기, 다른 크기의 결함이라, 연습에서 기억한 숫자가 맞지 않을 거예요. 예산은 다 합쳐 프로브 9번이에요(봉인된 경우를 훈련하는 것도 하나로 쳐요). 페이지가 열린 뒤의 모든 실행에 걸쳐 세요(같은 경우에 프로브를 되풀이하는 건 공짜고, 틀린 진단이나 작동하지 않는 수정은 프로브 하나가 들어요).

아래 각 경우는 결함 하나를 심어 둔 훈련 실행이에요. 각각에 대해: 프로브를 써서 결함을 찾고, 그다음 설정 변경으로 수정을 쓰세요. 이 레슨의 결함: any fault from this module(이 모듈의 어떤 결함이든). 프로브는 적을수록 좋아요. 좋은 진단가는 경우마다 둘보다 많이 필요한 일이 드물어요.

프로브알려 주는 것
loss_curve(c)50걸음마다의 훈련 손실과 최종 검증 정확도. 언제나 먼저 보세요.
loss_at_init(c)훈련 전의 손실. 새 10클래스 모델은 ln(10) = 2.30 근처여야 해요.
overfit_one_batch(c)예시 32개를 외울 수 있나? 건강한 설정은 0 근처에 가요.
grad_norms(c)시작할 때 가중치 행렬마다의 기울기 크기. 0이면 아무것도 배울 수 없어요.
update_ratio(c)가중치 크기에 대한 평범한 SGD 걸음 크기. 건강하면 약 0.001~0.1(평범한 SGD의 경험칙. 모듈 14가 왜 Adam은 다른지 보여 줘요).
act_stats(c)은닉 활성화: 평균, 가장 큰 값, 죽은 유닛의 비율.
lr_schedule(c)걸음 0, 50, 100 등에서의 학습률.
batch_labels(c)처음 몇 배치의 레이블.
overlap(c)검증 예시 중 몇 개가 훈련에도 나오는지.
이 레슨의 단어와 기호
프로브
기울기 크기나 죽은 유닛 같은, 실행에 대한 빠른 측정
내 차례

A, B, C 경우에 대해 diagnosis(경우에서 결함 이름으로)와 fixes(경우에서 설정 변경의 딕셔너리로)를 채우세요. 수정은 결함을 없애고 적어도 90% 검증 정확도까지 훈련돼야 해요.

AI 끔: 이 문제에는 튜터도, 힌트도, 풀이도 없어요. 내 생각만으로.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.