La trappola addestramento/valutazione
Perché è importante Un modello che va bene nei test e male nell'uso, senza una ragione visibile, molto spesso ha questo bug. Ha ingannato anche ingegneri esperti.
Un piccolo classificatore ha un layer BatchNorm. È stato addestrato per bene e le sue medie mobili sono buone. Sul set di test, valutato in batch grandi, va bene. Usato su un esempio alla volta, sbaglia troppo spesso.
Prima il lavoro da investigatore: stampa che cosa restituisce il layer BatchNorm per due esempi diversi, e chiediti con quali statistiche sta normalizzando. Ricavalo da ciò che stampi; i tre suggerimenti ti accompagnano se ti blocchi.
Parole e simboli di questa lezione
- Xavier, LeCun, He
- dispersioni iniziali sqrt(2 / (input + output)) o 1 / sqrt(input) per tanh, e sqrt(2 / input) per ReLU
- BatchNorm (gamma, beta)
- normalizzare ogni caratteristica sul batch, poi riscalare con gamma e beta appresi
predict_one(x) viene usata su un esempio alla volta, e la sua accuratezza è scarsa. Scopri perché, poi correggi predict_one in modo che l'accuratezza sui dati tenuti da parte sia almeno il 90%. Imposta cause su una breve frase che nomina la causa.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.