Clinica: difetti dei dati
Perché è importante "Il bug è sempre nel modello" è falso. I difetti dei dati sono comuni e si nascondono bene, perché il ciclo di addestramento in sé va bene.
Fuga di dati: il set di validazione contiene esempi di addestramento, quindi l'accuratezza di validazione sembra meravigliosa e non significa niente. Niente mescolamento: i batch arrivano una classe alla volta, il modello insegue la classe che ha visto per ultima, e l'accuratezza sui dati misti è scarsa. Etichette sbagliate: molte etichette di addestramento sono casuali, quindi la loss di addestramento non può scendere molto anche se il modello riesce a memorizzare un batch.
Ogni caso qui sotto è un addestramento con un difetto piantato dentro. Per ciascuno: spendi sonde per trovare il difetto, poi scrivi una correzione come modifiche alla configurazione. I difetti di questa lezione: leak, no_shuffle, noisy_labels. Meno sonde è meglio; un buon diagnosta raramente ne ha bisogno di più di due per caso.
| Sonda | Che cosa ti dice |
|---|---|
loss_curve(c) | La loss di addestramento ogni 50 passi e l'accuratezza di validazione finale. Guarda sempre per prima questa. |
loss_at_init(c) | La loss prima dell'addestramento. Un modello a 10 classi appena creato dovrebbe essere vicino a ln(10) = 2.30. |
overfit_one_batch(c) | Riesce a memorizzare 32 esempi? Una configurazione sana arriva vicino a 0. |
grad_norms(c) | La dimensione del gradiente per ogni matrice di pesi all'inizio. Zero significa che niente può imparare. |
update_ratio(c) | La dimensione del passo di SGD semplice rispetto alla dimensione dei pesi. Sano è circa da 0.001 a 0.1 (una regola empirica per l'SGD semplice; il Modulo 14 mostra perché Adam è diverso). |
act_stats(c) | Le attivazioni nascoste: media, valore più grande, quota di unità morte. |
lr_schedule(c) | Il learning rate ai passi 0, 50, 100 e così via. |
batch_labels(c) | Le etichette nei primi batch. |
overlap(c) | Quanti esempi di validazione compaiono anche nell'addestramento. |
Parole e simboli di questa lezione
- sonda
- una misura rapida di un addestramento, come le dimensioni dei gradienti o le unità morte
- fuga di dati
- informazione di test o di validazione che arriva all'addestramento
Compila diagnosis (dal caso al nome del difetto) e fixes (dal caso a un dizionario di modifiche alla configurazione) per i casi A, B e C. Una correzione deve togliere il difetto e addestrare fino ad almeno il 90% di accuratezza di validazione.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.