Softmax en cross-entropy saam
Waarom dit saak maak Elke klassifiseerder in hierdie kursus eindig met softmax plus cross-entropy. Hulle gekombineerde gradiënt is een van die mees nuttige resultate in deep learning, en dit is kort.
Klein getalle
Logits [2, 1, 0], softmax [0.665, 0.245, 0.090], ware klas 0 (one-hot [1, 0, 0]). Die gradiënt van die verlies met betrekking tot die logits is bloot softmax minus one-hot: [-0.335, 0.245, 0.090]. In woorde: skuif die ware klas se telling op by hoeveel dit kortkom, en skuif elke ander telling af by hoeveel waarskynlikheid dit verkeerd gekry het.
One-hot: 'n vektor van nulle met 'n enkele 1 by die ware klas.
Vir 'n pakkie, gemiddelde oor rye: (softmax(Z) - onehot) / n.
Opsomming Gradient = voorspelling minus waarheid, weer.
Woorde en simbole in hierdie les
- one-hot
- nulles met 'n enkele 1 by die ware klas
- gradering kontrole
- vergelyk jou gradiëntformule met 'n stoot-en-meet-skatting
Skryf loss_and_grad(Z, labels) wat die gemiddelde cross-entropy en sy gradiënt met betrekking tot Z teruggee (vorm (batch, classes)). Gebruik 'n stabiele softmax. Gaan dit self na met jou gradiëntkontroleerder voor jy dit indien.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.