softmax와 교차 엔트로피를 함께
왜 중요한가 이 강좌의 모든 분류기는 softmax 더하기 교차 엔트로피로 끝나요. 둘을 합친 기울기는 딥러닝에서 가장 쓸모 있는 결과 중 하나이고, 짧아요.
작은 숫자
로짓 [2, 1, 0], softmax [0.665, 0.245, 0.090], 진짜 클래스 0(원-핫 [1, 0, 0]). 로짓에 대한 손실의 기울기는 그냥 softmax 빼기 원-핫이에요: [-0.335, 0.245, 0.090]. 말로 하면: 진짜 클래스의 점수를 모자란 만큼 올리고, 다른 모든 점수를 잘못 가져간 확률만큼 내리세요.
원-핫: 진짜 클래스에만 1이 하나 있는 0들의 벡터.
배치에서는 행들에 걸쳐 평균 내세요: (softmax(Z) - onehot) / n.
요약 기울기 = 예측 빼기 실제 값, 또다시.
이 레슨의 단어와 기호
- 원-핫
- 진짜 클래스에만 1이 하나 있는 0들
- 기울기 검사
- 자기 기울기 공식을 밀고-재는 추정과 비교하기
평균 교차 엔트로피와 Z(모양 (batch, classes))에 대한 그 기울기를 반환하는 loss_and_grad(Z, labels)를 쓰세요. 안정적인 softmax를 쓰세요. 제출하기 전에 자기 기울기 검사기로 직접 확인하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.