Softmax en cross-entropy in een stap
Waarom dit saak maak Jy kan softmax bou uit exp, sum en divide, maar die resultaat is stadiger en kan overflow. Elke regte biblioteek smelt softmax en cross-entropy saam in een operasie met die eenvoudige gradient wat jy in Module 3 aflei.
A gefuseerde operasie bereken sy vorentoe gang in een slag (met die max-shift vir veiligheid) en het een agterwaartse reël: (softmax - onehot) / n, maal die aankomende gradiënt. Jy het ook relu nodig vir 'n netwerk: stuur die gradiënt deur waar die input positief was.
Opsomming Fuse wat jy kan; die gekombineerde gradiënt is eenvoudiger as sy dele.
Woorde en simbole in hierdie les
- Tensor
- hier: 'n array plus sy gradiënt plus die Tensors waaruit dit gekom het
- .grad
- die gradiënt van die finale loss met verwysing na hierdie Tensor
- unbroadcast
- som die gradiënt terug na die vorm waaruit dit gestrek is
Skryf relu en cross_entropy(labels) (op 'n (batch, classes) Tensor van logits, wat 'n skêler Tensor teruggee) met hul backward-reëls.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.