Kurrikulum Leson 95 van 246 · Module 8: Run Kliniek I
Module 8: Run Kliniek I

Jou eie sondes

Hoekom dit saak maak Probes is hoe jy binne-in 'n run sien. As jy dit self skryf, sal jy weet wat die syfers beteken wanneer 'n tool dit vir jou wys.

Drie sondes doen die meeste van die werk:

  • Gradientgrootte per laag: die lengte (norm) van elke gewigmatriks se gradient. Alles nul: niks leer nie. Wild verskil tussen lae: een laag word honger gehou.
  • Dead share: die fraksie van verstekte eenhede wat nul uitput vir elke voorbeeld in 'n batch.
  • Update-to-weight ratio: leerkoers maal gradiëntgrootte, gedeel deur gewiggrootte. Dit sê watter breukdeel van elke gewig een stap verander. Ongeveer 0.001 tot 0.1 is gesond; naby 1 beteken elke stap skryf die gewigte oor; naby 0 beteken niks beweeg nie.

Die harness stel sy interne bloot: _data(c) gee die opleidingsdata, _init(c) die beginwegte, en _fb(p, X, y, c) gee (loss, gradients, hidden activations) terug.

Woorde en simbole in hierdie les
probe
'n vinnige meting van 'n run, soos gradient groottes of dead units
opdater-tot-gewig-verhouding
hoeveel een stap elke gewig verander, relatief tot sy grootte
Jou beurt

Skryf my_grad_norms(c), my_dead_share(c) en my_update_ratio(c) met die eerste 256 opleidingsvoorbeelde en die begingewigte. Hulle moet by die kliniek se probes pas.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.