Programma Lezione 59 di 246 · Modulo 4: Il tuo motore di autograd
Modulo 4: Il tuo motore di autograd

Softmax e cross-entropy in un passo

Perché è importante Potresti costruire la softmax da exp, sum e divisione, ma il risultato è più lento e può andare in overflow. Ogni libreria vera fonde softmax e cross-entropy in un'unica operazione con il gradiente semplice che hai ricavato nel Modulo 3.

Un'operazione fusa calcola la sua passata in avanti in un colpo solo (con lo spostamento del massimo per sicurezza) e ha un'unica regola all'indietro: (softmax - onehot) / n, per il gradiente che arriva. Per una rete ti serve anche relu: fai passare il gradiente dove l'input era positivo.

Riepilogo Fondi ciò che puoi; il gradiente combinato è più semplice delle sue parti.

Parole e simboli di questa lezione
Tensor
qui: un array più il suo gradiente più i Tensor da cui viene
.grad
il gradiente della loss finale rispetto a questo Tensor
unbroadcast
sommare un gradiente fino a riportarlo alla forma da cui era stato allungato
Tocca a te

Scrivi relu e cross_entropy(labels) (su un Tensor (batch, classi) di logit, che restituisce un Tensor scalare) con le loro regole all'indietro.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.