De gradiënt van softmax, en waarom de loss het verbergt
Waarom dit ertoe doet Softmax zit in attention, waar de gradient op zichzelf nodig is. Gecombineerd met cross-entropy wordt het iets heel simpels, en weten waarom zorgt ervoor dat je de simpele versie kunt vertrouwen.
De volledige gradiënt
Voor p = softmax(z) hangt elke output af van elke score. Het aanpassen van zj verandert pi met pi (1 - pi) keer de aanpassing wanneer i = j, en met - pi pj wanneer i niet j is: het verhogen van één score trekt de waarschijnlijkheid weg van alle anderen. Zoals in één tabel (de Jacobian): diag(p) - p pT.
Backward bouwt die tabel nooit. Gegeven g = dL/dp, is de gradiënt ten opzichte van z p * (g - (g · p)), item voor item: elke pi keer hoeveel zijn eigen g de kans-gewogen gemiddelde van g verslaat.
Tintalletjes
p = [0.5, 0.3, 0.2] en g = [1, 0, 0]. Dan g · p = 0.5, en dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. De waarden tellen op tot 0: het toevoegen van hetzelfde bedrag aan elke score verandert niets.
Waarom cross-entropy het simpel maakt
Met L = -log py, g is -1 / py bij de ware klasse en 0 elders. Zet dat in p * (g - (g · p)) en het wordt p - onehot(y): de formule die Module 3 gebruikte. De simpele vorm is dezezelfde gradiënt, geen afkorting.
Samenvatting Softmax backward: p * (g - g · p). Met cross-entropy erbovenop: p - onehot.
Woorden en symbolen in deze les
- softmax
- exp van elke score gedeeld door het totaal: scores worden waarschijnlijkheden
- cross-entropy
- min de log van de kans op het juiste antwoord
Schrijf softmax_jacobian(z) (een 1D array van scores erin, de (n, n) tabel eruit) en softmax_backward(z, g) voor 2D arrays (één rij per voorbeeld), gebruik p * (g - (g · p)) rij voor rij, zonder de tabel op te bouwen. De verborgen test controleert beide tegen nudging en controleert of met de g van cross-entropy het antwoord p - onehot is.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.