Lae wat hul eie gewigte hou
Hoekom dit saak maak Regte netwerke het baie lae. Elke laag moet sy eie weights besit en dit moet kan lys, sodat die training code nooit hoef te weet wat binne is nie.
A Linear laag hou W en b as Tensors en bereken x @ W + b. 'n MLP hou 'n lys van Linear lae met ReLU tussen hulle. Albei bied parameters(), 'n lys van hulle gewig Tensors aan.
Hoekom moet jy die gradients nulstel
Jou agterwaartse adds by elke grad. Dit is reg binne een pass, maar tussen stappe sit die ou gradiënt nog daar. Vergeet om dit skoon te maak en elke stap gebruik die som van alle vorige gradiënte: opleiding dryf dan weg en ontplof. So elke stap is: zero die grads, forward, backward, step.
Parameter: 'n gewig wat die opleiding verander. zero_grad: stel elke parameter se grad terug na nul voor die volgende backward.
Begin met gewigte met die spreiding sqrt(2 / inputs), wat verseker dat seine 'n sinvolle grootte deur ReLU-lae behou. Module 6 verduidelik waarom.
Woorde en simbole in hierdie les
- Tensor
- hier: 'n array plus sy gradiënt plus die Tensors waaruit dit gekom het
- unbroadcast
- som die gradiënt terug na die vorm waaruit dit gestrek is
- zero_grad
- stel gradiënte terug voordat die volgende stap kom, want backward voeg by hulle
Skryf Linear, MLP, zero_grad(params) en sgd_step(params, lr) soos beskryf. MLP([64, 32, 10], rng) maak twee Linear lae met 'n ReLU tussen hulle en geen daarna nie.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.