Le piège entraînement/évaluation
Pourquoi c'est important Un modèle qui obtient de bons scores en test et de mauvais en usage, sans raison visible, c'est très souvent ce bogue. Il a trompé des ingénieurs expérimentés.
Un petit classifieur a une couche BatchNorm. Il a été correctement entraîné et ses moyennes courantes sont bonnes. Sur le jeu de test, noté par gros lots, il s'en sort bien. Utilisé sur un exemple à la fois, il se trompe bien trop souvent.
D'abord le travail de détective : affiche ce que sort la couche BatchNorm pour deux exemples différents, et demande-toi avec quelles statistiques elle normalise. Trouve-le à partir de ce que tu affiches ; les trois indices t'y mènent si tu bloques.
Mots et symboles de cette leçon
- Xavier, LeCun, He
- dispersions de départ sqrt(2 / (entrées + sorties)) ou 1 / sqrt(entrées) pour tanh, et sqrt(2 / entrées) pour ReLU
- BatchNorm (gamma, beta)
- normaliser chaque caractéristique sur le lot, puis remettre à l'échelle avec gamma et beta appris
predict_one(x) est utilisé sur un exemple à la fois, et sa justesse est mauvaise. Trouve pourquoi, puis corrige predict_one pour que la justesse sur les données mises de côté soit d'au moins 90 %. Affecte à cause une courte phrase qui nomme la cause.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.