L'échelle qui garde les signaux stables (Xavier et He)
Pourquoi c'est important Il existe une réponse exacte à « quelle taille doivent avoir les poids de départ ». Utilise-la et les réseaux profonds deviennent entraînables.
De tout petits nombres
Une sortie d'une couche additionne n_in produits d'une entrée et d'un poids. Si les entrées ont une dispersion de 1 et les poids une dispersion de s, la somme de n_in tels termes a une dispersion de s fois sqrt(n_in) (les variances s'additionnent : module 2, « Comment la dispersion s'additionne »). Pour la garder à 1, choisis s = 1 / sqrt(n_in). C'est l'initialisation LeCun. L'initialisation Xavier (aussi appelée Glorot) garde aussi stables les gradients au retour, qui dépendent de n_out, donc elle coupe la poire en deux : s = sqrt(2 / (n_in + n_out)). Quand n_in égale n_out, les deux sont identiques. Les deux conviennent à tanh.
ReLU jette la moitié négative, ce qui divise par deux la taille moyenne au carré. Compense avec deux fois la variance : s = sqrt(2 / n_in). C'est l'initialisation He, la bonne pour ReLU. Avec une largeur de 100, He donne sqrt(0.02) = 0.141 : exactement l'échelle « ok » de la leçon précédente.
Récap tanh : Xavier, sqrt(2 / (n_in + n_out)), ou LeCun, 1 / sqrt(n_in). ReLU : He, sqrt(2 / n_in).
Mots et symboles de cette leçon
- initialisation
- la façon dont les poids sont fixés avant que l'entraînement commence
- Xavier, LeCun, He
- dispersions de départ sqrt(2 / (entrées + sorties)) ou 1 / sqrt(entrées) pour tanh, et sqrt(2 / entrées) pour ReLU
Écris xavier(n_in, n_out, rng) et he(n_in, n_out, rng) qui renvoient des matrices de poids. Avec des poids He, la dispersion des activations après 20 couches ReLU de largeur 256 doit rester entre 0.2 et 5.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.