Programme Leçon 82 sur 246 · Module 6 : Poids de départ et normalisation
Module 6 : Poids de départ et normalisation

Le piège entraînement/évaluation

Pourquoi c'est important Un modèle qui obtient de bons scores en test et de mauvais en usage, sans raison visible, c'est très souvent ce bogue. Il a trompé des ingénieurs expérimentés.

Un petit classifieur a une couche BatchNorm. Il a été correctement entraîné et ses moyennes courantes sont bonnes. Sur le jeu de test, noté par gros lots, il s'en sort bien. Utilisé sur un exemple à la fois, il se trompe bien trop souvent.

D'abord le travail de détective : affiche ce que sort la couche BatchNorm pour deux exemples différents, et demande-toi avec quelles statistiques elle normalise. Trouve-le à partir de ce que tu affiches ; les trois indices t'y mènent si tu bloques.

Mots et symboles de cette leçon
Xavier, LeCun, He
dispersions de départ sqrt(2 / (entrées + sorties)) ou 1 / sqrt(entrées) pour tanh, et sqrt(2 / entrées) pour ReLU
BatchNorm (gamma, beta)
normaliser chaque caractéristique sur le lot, puis remettre à l'échelle avec gamma et beta appris
À ton tour

predict_one(x) est utilisé sur un exemple à la fois, et sa justesse est mauvaise. Trouve pourquoi, puis corrige predict_one pour que la justesse sur les données mises de côté soit d'au moins 90 %. Affecte à cause une courte phrase qui nomme la cause.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.