Softmax en cross-entropy samen
Waarom dit ertoe doet Elke classifier in deze cursus eindigt met softmax plus cross-entropy. Hun gecombineerde gradiënt is een van de meest nuttige resultaten in deep learning, en het is kort.
Tintalletjes
Logits [2, 1, 0], softmax [0.665, 0.245, 0.090], ware klasse 0 (one-hot [1, 0, 0]). De gradiënt van de loss ten opzichte van de logits is simpelweg softmax min one-hot: [-0.335, 0.245, 0.090]. In woorden: duw de score van de ware klasse omhoog met hoeveel deze tekortschoot, en duw elke andere score omlaag met hoeveel waarschijnlijkheid deze onterecht kreeg.
One-hot: een vector van nullen met een enkele 1 bij de ware klasse.
Voor een batch, neem het gemiddelde over de rijen: (softmax(Z) - onehot) / n.
Samenvatting Gradient = prediction minus truth, opnieuw.
Woorden en symbolen in deze les
- one-hot
- nullen met een enkele 1 bij de ware klasse
- gradient check
- vergelijk je gradiëntformule met een nudge-and-measure schatting
Schrijf loss_and_grad(Z, labels) die de gemiddelde cross-entropy en de gradiënt ten opzichte van Z teruggeeft (vorm (batch, classes)). Gebruik een stabiele softmax. Controleer het zelf met je gradient checker voordat je het indient.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.