Softmax en cross-entropy in één stap
Waarom dit ertoe doet Je zou softmax kunnen bouwen uit exp, sum en divide, maar het resultaat is trager en kan overflow geven. Elke echte bibliotheek fuseert softmax en cross-entropy tot één operatie met de simpele gradient die je afleidde in Module 3.
A fused operation berekent zijn forward in één keer (met de max-shift voor veiligheid) en heeft één backward regel: (softmax - onehot) / n, vermenigvuldigd met de aankomende gradient. Je hebt ook relu nodig voor een netwerk: geef de gradient door waar de input positief was.
Samenvatting Voeg wat je kunt samen; de gecombineerde gradient is eenvoudiger dan de onderdelen.
Woorden en symbolen in deze les
- Tensor
- hier: een array plus zijn gradiënt plus de Tensors waaruit het kwam
- .grad
- de gradiënt van de uiteindelijke loss ten opzichte van deze Tensor
- unbroadcast
- summing een gradient terug naar de vorm waar het van is uitgerekt
Schrijf relu en cross_entropy(labels) (op een (batch, classes) Tensor van logits, met een scalaire Tensor als resultaat) met hun backward regels.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.