강의 계획 레슨 246개 중 165번째 · 모듈 14: 실행 클리닉 II
모듈 14: 실행 클리닉 II

관문: 처음 보는 망가진 실행 셋(AI 끄기)

왜 중요한가 예산 안에서 혼자 진단하는 것이 이 강좌가 모듈 8부터 쌓아 온 기술이에요.

AI 튜터는 꺼져 있어요. 실행 셋, 각각 이 모듈의 훈련 경우에서 온 결함 하나. 연습 경우가 아니라 새 실행이에요: 다른 시드, 다른 크기의 결함이라, 기억한 숫자가 맞지 않을 거예요. 예산은 다 합쳐 프로브 9번이에요(봉인된 경우를 훈련하는 것도 하나로 쳐요). 페이지가 열린 뒤의 모든 실행에 걸쳐 세요(같은 경우에 프로브를 되풀이하는 건 공짜고, 틀린 진단이나 작동하지 않는 수정은 프로브 하나가 들어요).

아래 각 경우는 결함 하나를 심어 둔 훈련 실행이에요. 각각에 대해: 프로브를 써서 결함을 찾고, 그다음 실행을 건강하게 되돌리는 설정 변경으로 수정을 쓰세요. 이 레슨의 결함: any training fault from this module(이 모듈의 어떤 훈련 결함이든). 좋은 진단가는 경우마다 프로브가 둘보다 많이 필요한 일이 드물어요.

프로브알려 주는 것건강한 실행
loss_curve(c)25걸음마다의 훈련 손실, 그리고 끝에 본 적 없는 텍스트에서의 손실. 언제나 먼저 보세요.4.55에서 약 2.9로. 본 적 없는 것은 약 3.0
loss_at_init(c)훈련 전의 손실. 문자 95개에 걸쳐 고르게 추측하는 새 모델은 ln(95)를 줘요.4.55
leak_check(c)뒤의 문자가 앞의 예측을 바꿀 수 있나?False
show_batch(c)훈련 입력 하나와 그 목표값, 텍스트로.목표값 = 한 문자 왼쪽으로 옮긴 입력
update_ratio(c)첫 Adam 걸음 뒤에 가중치가 그 크기에 비해 얼마나 움직였는지. 모듈 8의 규칙이 아니에요: 그 0.001~0.1 범위는 평범한 SGD 걸음에 대한 거예요. Adam의 첫 걸음은 기울기가 무엇이든 모든 가중치를 약 학습률만큼 옮기고, 이 가중치들은 0.02 근처에서 시작하니, 0.01 / 0.02로 약 0.5가 나와요. 경우를 모듈 8의 범위가 아니라 이 건강한 실행과 비교하세요.약 0.5
block_change(c)시작할 때 첫 블록이 각 벡터를 얼마나 바꾸는지.약 0.3
이 레슨의 단어와 기호
ln(V)
V개 기호에 걸쳐 고르게 추측하는 모델의 시작 손실: 문자 95개면 4.55
블록 변화
시작할 때 블록 하나가 벡터를 얼마나 바꾸는지. 1 근처면 대체했다는 뜻이에요
내 차례

A, B, C 경우에 대해 diagnosis(경우에서 결함 이름으로)와 fixes(경우에서 설정 변경의 딕셔너리로)를 채우세요. 수정 뒤에는 모든 설정이 건강한 실행과 맞아야 해요.

AI 끔: 이 문제에는 튜터도, 힌트도, 풀이도 없어요. 내 생각만으로.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.