강의 계획 레슨 246개 중 60번째 · 모듈 4: 자기만의 autograd 엔진
모듈 4: 자기만의 autograd 엔진

검사기를 엔진에 겨누기

왜 중요한가 규칙 하나가 틀린 엔진도 훈련은 돼요, 느리고 나쁘게, 그리고 결코 모를 수도 있어요. 이제부터 모든 새 연산은 쓰기 전에 확인해요.

모듈 3의 검사기는 NumPy 배열을 밀었어요. 여기서는 Tensor의 data를 제자리에서 밀고, 계산을 다시 만들고, backward가 .grad에 남긴 것과 비교해요.

조리법: (1) 출력을 만들고 backward()를 한 번 호출해서 엔진의 기울기를 얻으세요. (2) 각 입력과 각 항목에 대해 data를 위아래로 밀고, 다시 만들고, 출력의 값을 읽으세요. (3) 가장 큰 상대 오차를 보고하세요.

요약 새 역방향 규칙은 검사를 통과할 때까지 결코 믿지 마세요.

이 레슨의 단어와 기호
Tensor
여기서는: 배열 더하기 그 기울기 더하기 그것이 나온 Tensor들
.grad
이 Tensor에 대한 최종 손실의 기울기
unbroadcast
기울기를 늘어나기 전의 모양으로 다시 합해 줄이기
내 차례

engine_check(build, inputs)를 쓰세요: build()는 리스트 inputs의 Tensor들로 계산한 스칼라 Tensor를 반환해요. 엔진의 기울기와 민 기울기 사이의 가장 큰 상대 오차를 반환하세요. backward를 호출하기 전에 각 입력의 grad를 0으로 다시 맞추세요. 숨겨진 테스트는 엔진에 버그 셋을 하나씩 심어요. 검사기는 각각에 1e-3을 넘게, 올바른 엔진에는 1e-6 아래로 보고해야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.