강의 계획 레슨 246개 중 47번째 · 모듈 3: 뉴런에서 MLP까지
모듈 3: 뉴런에서 MLP까지

softmax와 교차 엔트로피를 함께

왜 중요한가 이 강좌의 모든 분류기는 softmax 더하기 교차 엔트로피로 끝나요. 둘을 합친 기울기는 딥러닝에서 가장 쓸모 있는 결과 중 하나이고, 짧아요.

작은 숫자

로짓 [2, 1, 0], softmax [0.665, 0.245, 0.090], 진짜 클래스 0(원-핫 [1, 0, 0]). 로짓에 대한 손실의 기울기는 그냥 softmax 빼기 원-핫이에요: [-0.335, 0.245, 0.090]. 말로 하면: 진짜 클래스의 점수를 모자란 만큼 올리고, 다른 모든 점수를 잘못 가져간 확률만큼 내리세요.

원-핫: 진짜 클래스에만 1이 하나 있는 0들의 벡터.

배치에서는 행들에 걸쳐 평균 내세요: (softmax(Z) - onehot) / n.

요약 기울기 = 예측 빼기 실제 값, 또다시.

이 레슨의 단어와 기호
원-핫
진짜 클래스에만 1이 하나 있는 0들
기울기 검사
자기 기울기 공식을 밀고-재는 추정과 비교하기
내 차례

평균 교차 엔트로피와 Z(모양 (batch, classes))에 대한 그 기울기를 반환하는 loss_and_grad(Z, labels)를 쓰세요. 안정적인 softmax를 쓰세요. 제출하기 전에 자기 기울기 검사기로 직접 확인하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.