Programma Lezione 95 di 246 · Modulo 8: Clinica degli addestramenti I
Modulo 8: Clinica degli addestramenti I

Le tue sonde

Perché è importante Le sonde sono il modo in cui vedi dentro un addestramento. Scriverle tu significa che saprai che cosa significano i numeri quando uno strumento te li mostra.

Tre sonde fanno la maggior parte del lavoro:

  • Dimensione del gradiente per layer: la lunghezza (norma) del gradiente di ogni matrice di pesi. Tutte zero: niente impara. Molto diverse tra i layer: un layer è affamato.
  • Quota di morte: la frazione di unità nascoste che danno zero per ogni esempio di un batch.
  • Rapporto aggiornamento/peso: learning rate per dimensione del gradiente, diviso per la dimensione dei pesi. Dice quale frazione di ogni peso cambia un passo. Circa da 0.001 a 0.1 è sano; vicino a 1 significa che ogni passo riscrive i pesi; vicino a 0 significa che niente si muove.

L'imbracatura espone le sue parti interne: _data(c) dà i dati di addestramento, _init(c) i pesi iniziali, e _fb(p, X, y, c) restituisce (loss, gradienti, attivazioni nascoste).

Parole e simboli di questa lezione
sonda
una misura rapida di un addestramento, come le dimensioni dei gradienti o le unità morte
rapporto aggiornamento/peso
quanto un passo cambia ogni peso, rispetto alla sua dimensione
Tocca a te

Scrivi my_grad_norms(c), my_dead_share(c) e my_update_ratio(c) usando i primi 256 esempi di addestramento e i pesi iniziali. Devono coincidere con le sonde della clinica.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.