Programma Lezione 82 di 246 · Modulo 6: Pesi iniziali e normalizzazione
Modulo 6: Pesi iniziali e normalizzazione

La trappola addestramento/valutazione

Perché è importante Un modello che va bene nei test e male nell'uso, senza una ragione visibile, molto spesso ha questo bug. Ha ingannato anche ingegneri esperti.

Un piccolo classificatore ha un layer BatchNorm. È stato addestrato per bene e le sue medie mobili sono buone. Sul set di test, valutato in batch grandi, va bene. Usato su un esempio alla volta, sbaglia troppo spesso.

Prima il lavoro da investigatore: stampa che cosa restituisce il layer BatchNorm per due esempi diversi, e chiediti con quali statistiche sta normalizzando. Ricavalo da ciò che stampi; i tre suggerimenti ti accompagnano se ti blocchi.

Parole e simboli di questa lezione
Xavier, LeCun, He
dispersioni iniziali sqrt(2 / (input + output)) o 1 / sqrt(input) per tanh, e sqrt(2 / input) per ReLU
BatchNorm (gamma, beta)
normalizzare ogni caratteristica sul batch, poi riscalare con gamma e beta appresi
Tocca a te

predict_one(x) viene usata su un esempio alla volta, e la sua accuratezza è scarsa. Scopri perché, poi correggi predict_one in modo che l'accuratezza sui dati tenuti da parte sia almeno il 90%. Imposta cause su una breve frase che nomina la causa.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.