강의 계획 레슨 246개 중 163번째 · 모듈 14: 실행 클리닉 II
모듈 14: 실행 클리닉 II

기록만으로 진단하기

왜 중요한가 흔히 아무것도 다시 실행할 수 없어요: 실행이 남의 것이었거나, 일주일이 들었거나. 가진 건 기록된 것뿐이에요. 이 강좌의 기록된 실험 둘에 진짜 실패가 담겨 있어요.

gpt-width-lr에서 설정은 기록된 시드 셋에 걸쳐 평균 낸 최종 따로 떼어 둔 손실이 같은 폭의 최선 설정보다 0.5 넘게 나쁘면 학습률 때문에 망가진 거예요. cnn-depth-shortcuts에서 실행 하나는 테스트 정확도가 모든 에포크에서 정확히 같으면 갇힌 거예요: 모든 것에 클래스 하나로 답하고 있어요(도형 클래스가 넷이니 약 0.25).

보기 전에 예측하세요: 어떤 GPT 실행이 망가졌고, 어떤 CNN이 갇혔을까요?

내 차례

기록으로 계산해서 broken을 (width, lr) 쌍으로, stuck을 (depth, shortcuts, seed) 세 쌍으로 채우세요. exp.seeds(d=..., lr=...)가 한 설정의 실행 셋을 줘요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.