Achtertoe wanneer vorms strek (broadcasting)
Waarom dit saak maak Dit is die algemeenste autograd-fout in die wêreld. 'n Bias van vorm (4,) wat by 'n batch van vorm (32, 4) gevoeg word, word 32 keer gebruik, so sy gradiënt moet al 32 bydraes optel.
Klein getalle
out = X + b met X (3, 2) en b (2,). Die gradiënt wat aankom is (3, 2). b is na al 3 rye gekopieer, so elke kopie het 'n deel ontvang: b se gradiënt is die som oor die rye, vorm (2,). As jy die (3, 2) array teruggee, pas die vormme nie meer by nie, of erger, broadcasting verberg dit en die getalle is 3 keer verkeerd.
Die reël: waar omkeer added 'n rigting, som dit weg; waar dit stretched 'n grootte-1 rigting, som dit maar hou dit as grootte 1.
Opsomming Gekopieer vorentoe beteken opgetel agtertoe.
Woorde en simbole in hierdie les
- autograd
- outomatiese gradiënte: jy skryf die forward pass, die engine doen die backward
- Tensor
- hier: 'n array plus sy gradiënt plus die Tensors waaruit dit kom
- .grad
- die gradiënt van die finale loss met verwysing na hierdie Tensor
- unbroadcast
- som van 'n gradiënt terug na die vorm waaruit dit gestrek is
Skryf unbroadcast(grad, shape): som grad tot by shape. Jou add en multiply roep dit reeds op.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.