Conteúdo do curso Lição 47 de 246 · Módulo 3: Neurônio para MLP
Módulo 3: Neurônio para MLP

Softmax e cross-entropy juntos

Por que isso importa Todo classificador neste curso termina com softmax mais cross-entropy. O gradiente combinado deles é um dos resultados mais úteis em deep learning, e é curto.

Números pequenos

Logits [2, 1, 0], softmax [0.665, 0.245, 0.090], classe verdadeira 0 (one-hot [1, 0, 0]). O gradiente da perda em relação aos logits é simplesmente softmax menos one-hot: [-0.335, 0.245, 0.090]. Em palavras: aumente a pontuação da classe verdadeira pelo quanto ela ficou abaixo, e diminua cada outra pontuação pelo quanto de probabilidade ela tomou erroneamente.

One-hot: um vetor de zeros com um único 1 na classe verdadeira.

Para um lote, tire a média das linhas: (softmax(Z) - onehot) / n.

Resumo Gradient = prediction menos truth, de novo.

Palavras e símbolos nesta lição
one-hot
zeros com um único 1 na classe verdadeira
verificação de gradiente
comparando sua fórmula de gradiente com uma estimativa de empurrrar e medir
Sua vez

Escreva loss_and_grad(Z, labels) retornando a média da cross-entropy e seu gradiente em relação a Z (shape (batch, classes)). Use um softmax estável. Verifique você mesmo com seu gradient checker antes de enviar.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.