강의 계획 레슨 246개 중 239번째 · 모듈 23: 캡스톤 스튜디오: 실행할 수 있는 모델 카드
모듈 23: 캡스톤 스튜디오: 실행할 수 있는 모델 카드

심어 둔 버그 찾아서 고치기

왜 중요한가 머신러닝의 최악의 버그는 충돌하지 않아요. 훈련되고, 마땅한 것보다 조금 나쁘고, 아무도 알아채지 못해요. 기울기 검사가 몇 초 만에 그걸 찾아요.

동료가 스튜디오의 기울기 코드를 더 빠르게 하려고 다시 썼어요: suspect_grads. 진짜 일에서 흔히 그렇듯(라이브러리, 팀원의 브랜치, 생성된 코드) 읽을 수는 없어요. 그걸로 훈련해도 기준선은 여전히 배워요: 강좌 기본 계획에서 language 점수는 약 0.05만 나쁘고, images에서 시드 0으로는 오히려 점수가 더 높아요. 둘 다 부주의한 독자가 잡음이라고 부를 범위 안이에요. 그 안의 무언가가 틀렸어요.

모듈 3이 가르친 대로 확인하세요: 가중치 하나를 조금 밀고, 손실의 변화를 재고, 코드가 주장하는 기울기와 비교하세요. 작은 모델(폭 8, 배치 16)에서 W1, b1, W2, b2 각각의 항목 5개에 대해 하는데, 주장된 기울기가 0이 아닌 항목 중에서 고르세요(원-핫 입력이라 W1의 기울기 대부분은 정확히 0이고, 거기서 확인하면 아무것도 증명하지 못해요). studio.loss64와 밀기 1e-4로 float64에서 손실을 재고, 상대 오차가 0.01을 넘으면 틀렸다고 하세요.

이 레슨의 단어와 기호
기준선
모든 변경을 같은 시드에 걸쳐 대조해 재는 평범한 실행
기울기 검사
코드가 계산한 기울기를 가중치를 밀어서 잰 기울기와 비교하기
내 차례

'W1', 'b1', 'W2', 'b2' 각각에 대해 항목 5개에 걸친 가장 큰 상대 오차를 반환하는 check(grad_fn)를 쓰세요. wrong을 오차가 0.01을 넘는 이름을 정렬한 것으로, cause를 한 문장으로 설정하세요: 역방향 단계에서 틀린 기울기가 있는 곳에 무엇이 있고, 거기서 아마 무엇이 빠졌는지. 그다음 fixed_grads를 직접 쓰세요(순방향 단계는 m.forward, 손실과 그 기울기는 studio.loss_and_dout). 그다음 각각으로 기준선(시드 0)을 훈련하고 두 점수를 출력하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.