Softmax e cross-entropy juntos
Por que isso importa Todo classificador neste curso termina com softmax mais cross-entropy. O gradiente combinado deles é um dos resultados mais úteis em deep learning, e é curto.
Números pequenos
Logits [2, 1, 0], softmax [0.665, 0.245, 0.090], classe verdadeira 0 (one-hot [1, 0, 0]). O gradiente da perda em relação aos logits é simplesmente softmax menos one-hot: [-0.335, 0.245, 0.090]. Em palavras: aumente a pontuação da classe verdadeira pelo quanto ela ficou abaixo, e diminua cada outra pontuação pelo quanto de probabilidade ela tomou erroneamente.
One-hot: um vetor de zeros com um único 1 na classe verdadeira.
Para um lote, tire a média das linhas: (softmax(Z) - onehot) / n.
Resumo Gradient = prediction menos truth, de novo.
Palavras e símbolos nesta lição
- one-hot
- zeros com um único 1 na classe verdadeira
- verificação de gradiente
- comparando sua fórmula de gradiente com uma estimativa de empurrrar e medir
Escreva loss_and_grad(Z, labels) retornando a média da cross-entropy e seu gradiente em relação a Z (shape (batch, classes)). Use um softmax estável. Verifique você mesmo com seu gradient checker antes de enviar.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.