Softmax e cross-entropy em um passo
Por que isso importa Você poderia construir softmax usando exp, sum e divide, mas o resultado é mais lento e pode sofrer overflow. Toda biblioteca real funde softmax e cross-entropy em uma única operação com o gradiente simples que você derivou no Module 3.
A calcula seu forward de uma vez (com o max-shift para segurança) e tem uma regra de backward: (softmax - onehot) / n, vezes o gradiente que chega. Você também precisa de relu para uma rede: passe o gradiente por onde a entrada foi positiva.
Resumo Una o que você puder; o gradiente combinado é mais simples que suas partes.
Palavras e símbolos nesta lição
- Tensor
- Aqui: um array mais seu gradiente mais os Tensors de onde ele veio
- .grad
- o gradiente da perda final em relação a este Tensor
- unbroadcast
- somando um gradiente de volta para a forma de onde ele foi esticado
Escreva relu e cross_entropy(labels) (em um Tensor de logits de (batch, classes), retornando um Tensor escalar) com suas regras de backward.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.