La ricetta: due controlli prima di tutto
Perché è importante La maggior parte degli addestramenti rotti si può cogliere in un minuto con due controlli economici, prima di spendere un'ora ad addestrare.
I professionisti esperti iniziano ogni nuova configurazione allo stesso modo:
- Controlla la loss all'inizio. Prima dell'addestramento, un modello a 10 classi che non sa niente dà a ogni classe circa 0.1, quindi la sua loss dovrebbe essere circa -ln(0.1) = 2.30. Molto sopra significa che qualcosa ha la scala sbagliata. Molto sotto significa che la risposta arriva al modello attraverso i suoi input. Non ogni fuga si vede qui: quando le immagini di validazione stanno anche nel set di addestramento, la loss iniziale è normale (l'addestramento sano di questa clinica e il suo caso di fuga partono entrambi da 2.46), e solo un punteggio di validazione troppo bello la tradisce.
- Fai overfitting su un batch. Addestra su un solo piccolo batch per qualche centinaio di passi. Qualsiasi modello e ciclo di addestramento funzionante può memorizzare 32 esempi e portare la loss vicino a zero. Se non ci riesce, il bug è nel modello, nella loss o nei gradienti, e l'hai trovato senza toccare tutti i dati.
- Solo allora, passa all'addestramento completo.
Questa clinica è un piccolo classificatore di cifre che puoi rompere di proposito. config(**changes) crea una configurazione; train(c) la esegue.
| Sonda | Che cosa ti dice |
|---|---|
loss_curve(c) | La loss di addestramento ogni 50 passi e l'accuratezza di validazione finale. Guarda sempre per prima questa. |
loss_at_init(c) | La loss prima dell'addestramento. Un modello a 10 classi appena creato dovrebbe essere vicino a ln(10) = 2.30. |
overfit_one_batch(c) | Riesce a memorizzare 32 esempi? Una configurazione sana arriva vicino a 0. |
grad_norms(c) | La dimensione del gradiente per ogni matrice di pesi all'inizio. Zero significa che niente può imparare. |
update_ratio(c) | La dimensione del passo di SGD semplice rispetto alla dimensione dei pesi. Sano è circa da 0.001 a 0.1 (una regola empirica per l'SGD semplice; il Modulo 14 mostra perché Adam è diverso). |
act_stats(c) | Le attivazioni nascoste: media, valore più grande, quota di unità morte. |
lr_schedule(c) | Il learning rate ai passi 0, 50, 100 e così via. |
batch_labels(c) | Le etichette nei primi batch. |
overlap(c) | Quanti esempi di validazione compaiono anche nell'addestramento. |
Parole e simboli di questa lezione
- sonda
- una misura rapida di un addestramento, come le dimensioni dei gradienti o le unità morte
- overfitting su un batch
- controllare che una configurazione riesca a memorizzare pochi esempi
Scrivi sanity(c) che restituisce un dizionario con init_ok (loss all'inizio entro 0.3 da 2.30) e can_overfit (loss dell'overfitting su un batch sotto 0.1), usando le sonde. Applicala alla configurazione sana e a suspect.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.