Programme Leçon 88 sur 246 · Module 7 : Travailler sur de nouvelles données
Module 7 : Travailler sur de nouvelles données

Le dropout, construit

Pourquoi c'est important Le dropout est une façon simple d'empêcher un réseau de trop s'appuyer sur une seule unité, et tu le verras dans beaucoup de modèles.

Pendant l'entraînement, le dropout éteint chaque unité au hasard avec une probabilité p (disons 0.5) à chaque pas. Le réseau ne peut compter sur aucune unité, parce qu'elle pourrait disparaître au pas suivant, donc il répartit ce qu'il sait sur beaucoup d'unités.

Garder la bonne moyenne

Si la moitié des unités est éteinte, la couche suivante reçoit à peu près moitié moins de signal. Le dropout inversé moderne corrige ça pendant l'entraînement : les unités qui survivent sont multipliées par 1 / (1 - p), ici 2. Au moment de l'évaluation, le dropout ne fait rien du tout, et le signal moyen correspond à l'entraînement. (L'article original de 2014 mettait plutôt à l'échelle au moment de l'évaluation ; le résultat est le même, mais le dropout inversé laisse le code d'évaluation intact.)

Taux de dropout p : la probabilité d'éteindre une unité pendant l'entraînement.

Mots et symboles de cette leçon
dropout (p)
éteindre des unités au hasard avec une probabilité p pendant l'entraînement
À ton tour

Écris dropout(h, p, training, rng) : à l'entraînement, mets à zéro chaque élément avec une probabilité p et multiplie les survivants par 1 / (1 - p) ; sinon renvoie h inchangé. Utilise rng.random(h.shape) >= p comme masque de conservation.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.