Softmax e cross-entropy in un passo
Perché è importante Potresti costruire la softmax da exp, sum e divisione, ma il risultato è più lento e può andare in overflow. Ogni libreria vera fonde softmax e cross-entropy in un'unica operazione con il gradiente semplice che hai ricavato nel Modulo 3.
Un'operazione fusa calcola la sua passata in avanti in un colpo solo (con lo spostamento del massimo per sicurezza) e ha un'unica regola all'indietro: (softmax - onehot) / n, per il gradiente che arriva. Per una rete ti serve anche relu: fai passare il gradiente dove l'input era positivo.
Riepilogo Fondi ciò che puoi; il gradiente combinato è più semplice delle sue parti.
Parole e simboli di questa lezione
- Tensor
- qui: un array più il suo gradiente più i Tensor da cui viene
- .grad
- il gradiente della loss finale rispetto a questo Tensor
- unbroadcast
- sommare un gradiente fino a riportarlo alla forma da cui era stato allungato
Scrivi relu e cross_entropy(labels) (su un Tensor (batch, classi) di logit, che restituisce un Tensor scalare) con le loro regole all'indietro.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.