Programma Les 59 van 246 · Module 4: Je eigen autograd engine
Module 4: Je eigen autograd engine

Softmax en cross-entropy in één stap

Waarom dit ertoe doet Je zou softmax kunnen bouwen uit exp, sum en divide, maar het resultaat is trager en kan overflow geven. Elke echte bibliotheek fuseert softmax en cross-entropy tot één operatie met de simpele gradient die je afleidde in Module 3.

A fused operation berekent zijn forward in één keer (met de max-shift voor veiligheid) en heeft één backward regel: (softmax - onehot) / n, vermenigvuldigd met de aankomende gradient. Je hebt ook relu nodig voor een netwerk: geef de gradient door waar de input positief was.

Samenvatting Voeg wat je kunt samen; de gecombineerde gradient is eenvoudiger dan de onderdelen.

Woorden en symbolen in deze les
Tensor
hier: een array plus zijn gradiënt plus de Tensors waaruit het kwam
.grad
de gradiënt van de uiteindelijke loss ten opzichte van deze Tensor
unbroadcast
summing een gradient terug naar de vorm waar het van is uitgerekt
Jij bent aan de beurt

Schrijf relu en cross_entropy(labels) (op een (batch, classes) Tensor van logits, met een scalaire Tensor als resultaat) met hun backward regels.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.