Conteúdo do curso Lição 36 de 246 · Módulo 2: Matemática e probabilidade, apenas conforme necessário
Módulo 2: Matemática e probabilidade, apenas conforme necessário

O gradiente de softmax, e por que a perda o esconde

Por que isso importa Softmax fica dentro da atenção, onde seu gradiente é necessário por conta própria. Combinado com cross-entropy ele colapsa para algo muito simples, e saber o porquê é o que permite você confiar na versão simples.

O gradiente completo

Para p = softmax(z), cada saída depende de cada score. Mover zj move pi por pi (1 - pi) vezes o movimento quando i = j, e por - pi pj quando i não é j: aumentar um score puxa a probabilidade para longe de todos os outros. Como uma tabela (a Jacobian): diag(p) - p pT.

Backward nunca constrói essa tabela. Dado g = dL/dp, o gradiente em relação a z é p * (g - (g · p)), item por item: cada pi vezes o quanto seu próprio g supera a média ponderada pela probabilidade de g.

Números pequenos

p = [0.5, 0.3, 0.2] e g = [1, 0, 0]. Então g · p = 0.5, e dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. As entradas somam 0: adicionar a mesma quantidade a cada score não muda nada.

Por que a entropia cruzada torna tudo simples

Com L = -log py, g é -1 / py na classe verdadeira e 0 em outros lugares. Coloque isso em p * (g - (g · p)) e vira p - onehot(y): a fórmula que o Módulo 3 usou. A forma simples é esse mesmo gradiente, não um atalho.

Resumo Softmax backward: p * (g - g · p). Com cross-entropy no topo: p - onehot.

Palavras e símbolos nesta lição
softmax
exp de cada score dividido pelo total: scores se tornam probabilidades
cross-entropy
menos o log da probabilidade dada para a resposta correta
Sua vez

Escreva softmax_jacobian(z) (uma lista 1D de scores na entrada, a tabela (n, n) na saída) e softmax_backward(z, g) para listas 2D (uma linha por exemplo), usando p * (g - (g * p)) linha por linha, sem construir a tabela. O teste oculto verifica ambos contra nudging e checa se com o g da cross-entropy a resposta é p - onehot.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.