Conteúdo do curso Lição 59 de 246 · Módulo 4: Seu próprio motor de autograd
Módulo 4: Seu próprio motor de autograd

Softmax e cross-entropy em um passo

Por que isso importa Você poderia construir softmax usando exp, sum e divide, mas o resultado é mais lento e pode sofrer overflow. Toda biblioteca real funde softmax e cross-entropy em uma única operação com o gradiente simples que você derivou no Module 3.

A operação fundida

A calcula seu forward de uma vez (com o max-shift para segurança) e tem uma regra de backward: (softmax - onehot) / n, vezes o gradiente que chega. Você também precisa de relu para uma rede: passe o gradiente por onde a entrada foi positiva.

Resumo Una o que você puder; o gradiente combinado é mais simples que suas partes.

Palavras e símbolos nesta lição
Tensor
Aqui: um array mais seu gradiente mais os Tensors de onde ele veio
.grad
o gradiente da perda final em relação a este Tensor
unbroadcast
somando um gradiente de volta para a forma de onde ele foi esticado
Sua vez

Escreva relu e cross_entropy(labels) (em um Tensor de logits de (batch, classes), retornando um Tensor escalar) com suas regras de backward.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.