강의 계획 레슨 246개 중 59번째 · 모듈 4: 자기만의 autograd 엔진
모듈 4: 자기만의 autograd 엔진

softmax와 교차 엔트로피를 한 단계에

왜 중요한가 softmax를 exp, sum, 나눗셈으로 만들 수도 있지만, 결과는 더 느리고 넘칠 수 있어요. 모든 진짜 라이브러리는 softmax와 교차 엔트로피를 모듈 3에서 유도한 단순한 기울기를 가진 연산 하나로 합쳐요.

합친 연산은 순방향을 한 번에(안전을 위해 최댓값 이동과 함께) 계산하고 역방향 규칙이 하나예요: (softmax - onehot) / n, 곱하기 도착하는 기울기. 신경망에는 relu도 필요해요: 입력이 양수였던 곳에서 기울기를 통과시키세요.

요약 합칠 수 있는 건 합치세요. 합친 기울기가 부분들보다 단순해요.

이 레슨의 단어와 기호
Tensor
여기서는: 배열 더하기 그 기울기 더하기 그것이 나온 Tensor들
.grad
이 Tensor에 대한 최종 손실의 기울기
unbroadcast
기울기를 늘어나기 전의 모양으로 다시 합해 줄이기
내 차례

역방향 규칙과 함께 relu와 cross_entropy(labels)(로짓의 (batch, classes) Tensor에 대해, 스칼라 Tensor를 반환)를 쓰세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.