Programma Les 36 van 246 · Module 2: Wiskunde en kansberekening, alleen indien nodig
Module 2: Wiskunde en kansberekening, alleen indien nodig

De gradiënt van softmax, en waarom de loss het verbergt

Waarom dit ertoe doet Softmax zit in attention, waar de gradient op zichzelf nodig is. Gecombineerd met cross-entropy wordt het iets heel simpels, en weten waarom zorgt ervoor dat je de simpele versie kunt vertrouwen.

De volledige gradiënt

Voor p = softmax(z) hangt elke output af van elke score. Het aanpassen van zj verandert pi met pi (1 - pi) keer de aanpassing wanneer i = j, en met - pi pj wanneer i niet j is: het verhogen van één score trekt de waarschijnlijkheid weg van alle anderen. Zoals in één tabel (de Jacobian): diag(p) - p pT.

Backward bouwt die tabel nooit. Gegeven g = dL/dp, is de gradiënt ten opzichte van z p * (g - (g · p)), item voor item: elke pi keer hoeveel zijn eigen g de kans-gewogen gemiddelde van g verslaat.

Tintalletjes

p = [0.5, 0.3, 0.2] en g = [1, 0, 0]. Dan g · p = 0.5, en dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. De waarden tellen op tot 0: het toevoegen van hetzelfde bedrag aan elke score verandert niets.

Waarom cross-entropy het simpel maakt

Met L = -log py, g is -1 / py bij de ware klasse en 0 elders. Zet dat in p * (g - (g · p)) en het wordt p - onehot(y): de formule die Module 3 gebruikte. De simpele vorm is dezezelfde gradiënt, geen afkorting.

Samenvatting Softmax backward: p * (g - g · p). Met cross-entropy erbovenop: p - onehot.

Woorden en symbolen in deze les
softmax
exp van elke score gedeeld door het totaal: scores worden waarschijnlijkheden
cross-entropy
min de log van de kans op het juiste antwoord
Jij bent aan de beurt

Schrijf softmax_jacobian(z) (een 1D array van scores erin, de (n, n) tabel eruit) en softmax_backward(z, g) voor 2D arrays (één rij per voorbeeld), gebruik p * (g - (g · p)) rij voor rij, zonder de tabel op te bouwen. De verborgen test controleert beide tegen nudging en controleert of met de g van cross-entropy het antwoord p - onehot is.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.