모듈 4: 자기만의 autograd 엔진
softmax와 교차 엔트로피를 한 단계에
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 softmax를 exp, sum, 나눗셈으로 만들 수도 있지만, 결과는 더 느리고 넘칠 수 있어요. 모든 진짜 라이브러리는 softmax와 교차 엔트로피를 모듈 3에서 유도한 단순한 기울기를 가진 연산 하나로 합쳐요.
합친 연산은 순방향을 한 번에(안전을 위해 최댓값 이동과 함께) 계산하고 역방향 규칙이 하나예요: (softmax - onehot) / n, 곱하기 도착하는 기울기. 신경망에는 relu도 필요해요: 입력이 양수였던 곳에서 기울기를 통과시키세요.
요약 합칠 수 있는 건 합치세요. 합친 기울기가 부분들보다 단순해요.
이 레슨의 단어와 기호
- Tensor
- 여기서는: 배열 더하기 그 기울기 더하기 그것이 나온 Tensor들
- .grad
- 이 Tensor에 대한 최종 손실의 기울기
- unbroadcast
- 기울기를 늘어나기 전의 모양으로 다시 합해 줄이기
내 차례
역방향 규칙과 함께 relu와 cross_entropy(labels)(로짓의 (batch, classes) Tensor에 대해, 스칼라 Tensor를 반환)를 쓰세요.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.