검사기를 엔진에 겨누기
왜 중요한가 규칙 하나가 틀린 엔진도 훈련은 돼요, 느리고 나쁘게, 그리고 결코 모를 수도 있어요. 이제부터 모든 새 연산은 쓰기 전에 확인해요.
모듈 3의 검사기는 NumPy 배열을 밀었어요. 여기서는 Tensor의 data를 제자리에서 밀고, 계산을 다시 만들고, backward가 .grad에 남긴 것과 비교해요.
조리법: (1) 출력을 만들고 backward()를 한 번 호출해서 엔진의 기울기를 얻으세요. (2) 각 입력과 각 항목에 대해 data를 위아래로 밀고, 다시 만들고, 출력의 값을 읽으세요. (3) 가장 큰 상대 오차를 보고하세요.
요약 새 역방향 규칙은 검사를 통과할 때까지 결코 믿지 마세요.
이 레슨의 단어와 기호
- Tensor
- 여기서는: 배열 더하기 그 기울기 더하기 그것이 나온 Tensor들
- .grad
- 이 Tensor에 대한 최종 손실의 기울기
- unbroadcast
- 기울기를 늘어나기 전의 모양으로 다시 합해 줄이기
engine_check(build, inputs)를 쓰세요: build()는 리스트 inputs의 Tensor들로 계산한 스칼라 Tensor를 반환해요. 엔진의 기울기와 민 기울기 사이의 가장 큰 상대 오차를 반환하세요. backward를 호출하기 전에 각 입력의 grad를 0으로 다시 맞추세요. 숨겨진 테스트는 엔진에 버그 셋을 하나씩 심어요. 검사기는 각각에 1e-3을 넘게, 올바른 엔진에는 1e-6 아래로 보고해야 해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.