Programma Lezione 47 di 246 · Modulo 3: Dal neurone all'MLP
Modulo 3: Dal neurone all'MLP

Softmax e cross-entropy insieme

Perché è importante Ogni classificatore di questo corso finisce con softmax più cross-entropy. Il loro gradiente combinato è uno dei risultati più utili del deep learning, ed è breve.

Numeri piccolissimi

Logit [2, 1, 0], softmax [0.665, 0.245, 0.090], classe vera 0 (one-hot [1, 0, 0]). Il gradiente della loss rispetto ai logit è semplicemente softmax meno one-hot: [-0.335, 0.245, 0.090]. In parole: spingi in su il punteggio della classe vera di quanto gli è mancato, e spingi in giù ogni altro punteggio di quanta probabilità si è preso per sbaglio.

One-hot: un vettore di zeri con un solo 1 nella classe vera.

Per un batch, fai la media sulle righe: (softmax(Z) - onehot) / n.

Riepilogo Gradiente = previsione meno verità, di nuovo.

Parole e simboli di questa lezione
one-hot
zeri con un solo 1 nella classe vera
controllo del gradiente
confrontare la tua formula del gradiente con una stima fatta spostando e misurando
Tocca a te

Scrivi loss_and_grad(Z, labels) che restituisce la cross-entropy media e il suo gradiente rispetto a Z (forma (batch, classi)). Usa una softmax stabile. Verificalo tu con il tuo controllore del gradiente prima di consegnare.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.