Programma Les 47 van 246 · Module 3: Neuron naar MLP
Module 3: Neuron naar MLP

Softmax en cross-entropy samen

Waarom dit ertoe doet Elke classifier in deze cursus eindigt met softmax plus cross-entropy. Hun gecombineerde gradiënt is een van de meest nuttige resultaten in deep learning, en het is kort.

Tintalletjes

Logits [2, 1, 0], softmax [0.665, 0.245, 0.090], ware klasse 0 (one-hot [1, 0, 0]). De gradiënt van de loss ten opzichte van de logits is simpelweg softmax min one-hot: [-0.335, 0.245, 0.090]. In woorden: duw de score van de ware klasse omhoog met hoeveel deze tekortschoot, en duw elke andere score omlaag met hoeveel waarschijnlijkheid deze onterecht kreeg.

One-hot: een vector van nullen met een enkele 1 bij de ware klasse.

Voor een batch, neem het gemiddelde over de rijen: (softmax(Z) - onehot) / n.

Samenvatting Gradient = prediction minus truth, opnieuw.

Woorden en symbolen in deze les
one-hot
nullen met een enkele 1 bij de ware klasse
gradient check
vergelijk je gradiëntformule met een nudge-and-measure schatting
Jij bent aan de beurt

Schrijf loss_and_grad(Z, labels) die de gemiddelde cross-entropy en de gradiënt ten opzichte van Z teruggeeft (vorm (batch, classes)). Gebruik een stabiele softmax. Controleer het zelf met je gradient checker voordat je het indient.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.