Le tue sonde
Perché è importante Le sonde sono il modo in cui vedi dentro un addestramento. Scriverle tu significa che saprai che cosa significano i numeri quando uno strumento te li mostra.
Tre sonde fanno la maggior parte del lavoro:
- Dimensione del gradiente per layer: la lunghezza (norma) del gradiente di ogni matrice di pesi. Tutte zero: niente impara. Molto diverse tra i layer: un layer è affamato.
- Quota di morte: la frazione di unità nascoste che danno zero per ogni esempio di un batch.
- Rapporto aggiornamento/peso: learning rate per dimensione del gradiente, diviso per la dimensione dei pesi. Dice quale frazione di ogni peso cambia un passo. Circa da 0.001 a 0.1 è sano; vicino a 1 significa che ogni passo riscrive i pesi; vicino a 0 significa che niente si muove.
L'imbracatura espone le sue parti interne: _data(c) dà i dati di addestramento, _init(c) i pesi iniziali, e _fb(p, X, y, c) restituisce (loss, gradienti, attivazioni nascoste).
Parole e simboli di questa lezione
- sonda
- una misura rapida di un addestramento, come le dimensioni dei gradienti o le unità morte
- rapporto aggiornamento/peso
- quanto un passo cambia ogni peso, rispetto alla sua dimensione
Scrivi my_grad_norms(c), my_dead_share(c) e my_update_ratio(c) usando i primi 256 esempi di addestramento e i pesi iniziali. Devono coincidere con le sonde della clinica.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.