Programme Leçon 77 sur 246 · Module 6 : Poids de départ et normalisation
Module 6 : Poids de départ et normalisation

L'échelle qui garde les signaux stables (Xavier et He)

Pourquoi c'est important Il existe une réponse exacte à « quelle taille doivent avoir les poids de départ ». Utilise-la et les réseaux profonds deviennent entraînables.

De tout petits nombres

Une sortie d'une couche additionne n_in produits d'une entrée et d'un poids. Si les entrées ont une dispersion de 1 et les poids une dispersion de s, la somme de n_in tels termes a une dispersion de s fois sqrt(n_in) (les variances s'additionnent : module 2, « Comment la dispersion s'additionne »). Pour la garder à 1, choisis s = 1 / sqrt(n_in). C'est l'initialisation LeCun. L'initialisation Xavier (aussi appelée Glorot) garde aussi stables les gradients au retour, qui dépendent de n_out, donc elle coupe la poire en deux : s = sqrt(2 / (n_in + n_out)). Quand n_in égale n_out, les deux sont identiques. Les deux conviennent à tanh.

ReLU jette la moitié négative, ce qui divise par deux la taille moyenne au carré. Compense avec deux fois la variance : s = sqrt(2 / n_in). C'est l'initialisation He, la bonne pour ReLU. Avec une largeur de 100, He donne sqrt(0.02) = 0.141 : exactement l'échelle « ok » de la leçon précédente.

Récap tanh : Xavier, sqrt(2 / (n_in + n_out)), ou LeCun, 1 / sqrt(n_in). ReLU : He, sqrt(2 / n_in).

Mots et symboles de cette leçon
initialisation
la façon dont les poids sont fixés avant que l'entraînement commence
Xavier, LeCun, He
dispersions de départ sqrt(2 / (entrées + sorties)) ou 1 / sqrt(entrées) pour tanh, et sqrt(2 / entrées) pour ReLU
À ton tour

Écris xavier(n_in, n_out, rng) et he(n_in, n_out, rng) qui renvoient des matrices de poids. Avec des poids He, la dispersion des activations après 20 couches ReLU de largeur 256 doit rester entre 0.2 et 5.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.