O gradiente de softmax, e por que a perda o esconde
Por que isso importa Softmax fica dentro da atenção, onde seu gradiente é necessário por conta própria. Combinado com cross-entropy ele colapsa para algo muito simples, e saber o porquê é o que permite você confiar na versão simples.
O gradiente completo
Para p = softmax(z), cada saída depende de cada score. Mover zj move pi por pi (1 - pi) vezes o movimento quando i = j, e por - pi pj quando i não é j: aumentar um score puxa a probabilidade para longe de todos os outros. Como uma tabela (a Jacobian): diag(p) - p pT.
Backward nunca constrói essa tabela. Dado g = dL/dp, o gradiente em relação a z é p * (g - (g · p)), item por item: cada pi vezes o quanto seu próprio g supera a média ponderada pela probabilidade de g.
Números pequenos
p = [0.5, 0.3, 0.2] e g = [1, 0, 0]. Então g · p = 0.5, e dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. As entradas somam 0: adicionar a mesma quantidade a cada score não muda nada.
Por que a entropia cruzada torna tudo simples
Com L = -log py, g é -1 / py na classe verdadeira e 0 em outros lugares. Coloque isso em p * (g - (g · p)) e vira p - onehot(y): a fórmula que o Módulo 3 usou. A forma simples é esse mesmo gradiente, não um atalho.
Resumo Softmax backward: p * (g - g · p). Com cross-entropy no topo: p - onehot.
Palavras e símbolos nesta lição
- softmax
- exp de cada score dividido pelo total: scores se tornam probabilidades
- cross-entropy
- menos o log da probabilidade dada para a resposta correta
Escreva softmax_jacobian(z) (uma lista 1D de scores na entrada, a tabela (n, n) na saída) e softmax_backward(z, g) para listas 2D (uma linha por exemplo), usando p * (g - (g * p)) linha por linha, sem construir a tabela. O teste oculto verifica ambos contra nudging e checa se com o g da cross-entropy a resposta é p - onehot.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.