Jou eie sondes
Hoekom dit saak maak Probes is hoe jy binne-in 'n run sien. As jy dit self skryf, sal jy weet wat die syfers beteken wanneer 'n tool dit vir jou wys.
Drie sondes doen die meeste van die werk:
- Gradientgrootte per laag: die lengte (norm) van elke gewigmatriks se gradient. Alles nul: niks leer nie. Wild verskil tussen lae: een laag word honger gehou.
- Dead share: die fraksie van verstekte eenhede wat nul uitput vir elke voorbeeld in 'n batch.
- Update-to-weight ratio: leerkoers maal gradiëntgrootte, gedeel deur gewiggrootte. Dit sê watter breukdeel van elke gewig een stap verander. Ongeveer 0.001 tot 0.1 is gesond; naby 1 beteken elke stap skryf die gewigte oor; naby 0 beteken niks beweeg nie.
Die harness stel sy interne bloot: _data(c) gee die opleidingsdata, _init(c) die beginwegte, en _fb(p, X, y, c) gee (loss, gradients, hidden activations) terug.
Woorde en simbole in hierdie les
- probe
- 'n vinnige meting van 'n run, soos gradient groottes of dead units
- opdater-tot-gewig-verhouding
- hoeveel een stap elke gewig verander, relatief tot sy grootte
Skryf my_grad_norms(c), my_dead_share(c) en my_update_ratio(c) met die eerste 256 opleidingsvoorbeelde en die begingewigte. Hulle moet by die kliniek se probes pas.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.