Le dropout, construit
Pourquoi c'est important Le dropout est une façon simple d'empêcher un réseau de trop s'appuyer sur une seule unité, et tu le verras dans beaucoup de modèles.
Pendant l'entraînement, le dropout éteint chaque unité au hasard avec une probabilité p (disons 0.5) à chaque pas. Le réseau ne peut compter sur aucune unité, parce qu'elle pourrait disparaître au pas suivant, donc il répartit ce qu'il sait sur beaucoup d'unités.
Garder la bonne moyenne
Si la moitié des unités est éteinte, la couche suivante reçoit à peu près moitié moins de signal. Le dropout inversé moderne corrige ça pendant l'entraînement : les unités qui survivent sont multipliées par 1 / (1 - p), ici 2. Au moment de l'évaluation, le dropout ne fait rien du tout, et le signal moyen correspond à l'entraînement. (L'article original de 2014 mettait plutôt à l'échelle au moment de l'évaluation ; le résultat est le même, mais le dropout inversé laisse le code d'évaluation intact.)
Taux de dropout p : la probabilité d'éteindre une unité pendant l'entraînement.
Mots et symboles de cette leçon
- dropout (p)
- éteindre des unités au hasard avec une probabilité p pendant l'entraînement
Écris dropout(h, p, training, rng) : à l'entraînement, mets à zéro chaque élément avec une probabilité p et multiplie les survivants par 1 / (1 - p) ; sinon renvoie h inchangé. Utilise rng.random(h.shape) >= p comme masque de conservation.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.