Il gradiente della softmax, e perché la loss lo nasconde
Perché è importante La softmax sta dentro l'attenzione, dove il suo gradiente serve da solo. Combinato con la cross-entropy collassa in qualcosa di molto semplice, e sapere perché è ciò che ti permette di fidarti della versione semplice.
Il gradiente completo
Per p = softmax(z), ogni output dipende da ogni punteggio. Spostare zj muove pi di pi (1 - pi) per lo spostamento quando i = j, e di - pi pj quando i non è j: alzare un punteggio sottrae probabilità a tutti gli altri. Come un'unica tabella (il Jacobiano): diag(p) - p pT.
La passata all'indietro non costruisce mai quella tabella. Dato g = dL/dp, il gradiente rispetto a z è p * (g - (g · p)), elemento per elemento: ogni pi per quanto il suo g supera la media di g pesata con le probabilità.
Numeri piccolissimi
p = [0.5, 0.3, 0.2] e g = [1, 0, 0]. Allora g · p = 0.5, e dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. Gli elementi sommano a 0: aggiungere la stessa quantità a ogni punteggio non cambia niente.
Perché la cross-entropy lo rende semplice
Con L = -log py, g vale -1 / py nella classe vera e 0 altrove. Mettilo in p * (g - (g · p)) e diventa p - onehot(y): la formula usata dal Modulo 3. La forma semplice è questo stesso gradiente, non una scorciatoia.
Riepilogo Softmax all'indietro: p * (g - g · p). Con la cross-entropy sopra: p - onehot.
Parole e simboli di questa lezione
- softmax
- exp di ogni punteggio diviso per il totale: i punteggi diventano probabilità
- cross-entropy
- meno il log della probabilità data alla risposta giusta
Scrivi softmax_jacobian(z) (un array 1D di punteggi in ingresso, la tabella (n, n) in uscita) e softmax_backward(z, g) per array 2D (una riga per esempio), usando p * (g - (g · p)) riga per riga, senza costruire la tabella. Il test nascosto li controlla entrambi con gli spostamenti e verifica che con il g della cross-entropy la risposta sia p - onehot.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.