Programme Leçon 84 sur 246 · Module 6 : Poids de départ et normalisation
Module 6 : Poids de départ et normalisation

Raccourcis (connexions résiduelles)

Pourquoi c'est important Les connexions résiduelles sont la raison pour laquelle des réseaux de centaines de couches s'entraînent tout court. Chaque bloc de transformer les utilise.

Une couche simple remplace son entrée : h = f(h). Un bloc résiduel y ajoute : h = h + f(h). Si f n'apprend rien d'utile, le bloc laisse simplement passer h inchangé, donc plus de profondeur ne peut jamais empirer les choses au départ. Et au retour, le gradient a une route directe le long du chemin « + h », en sautant complètement la couche, donc il ne peut pas s'évanouir.

Un avertissement honnête sur l'expérience ci-dessous : les deux réseaux partent des mêmes poids volontairement petits, N(0, 0.1). C'est ce départ qui coule le réseau simple. Avec les poids de départ He vus plus tôt dans ce module, le réseau simple de 30 couches s'entraîne aussi (5 graines sur 6 dans les exécutions du cours). Ce que les raccourcis ajoutent, c'est de la robustesse : ils s'entraînent même à partir d'un mauvais départ, et ils continuent de marcher à des profondeurs où des poids de départ soignés ne suffisent plus.

Ici, la contribution de chaque bloc est aussi multipliée par 1 / depth, une astuce courante pour que 30 additions ne fassent pas exploser le signal.

Connexion résiduelle (ou connexion de saut, raccourci) : ajouter l'entrée d'un bloc à sa sortie.

Prédis la courbe : devine la perte finale après 150 pas pour le réseau simple et pour celui avec raccourcis. (Une perte de 0.693 veut dire pile ou face sur cette tâche à deux classes.)

Mots et symboles de cette leçon
Xavier, LeCun, He
dispersions de départ sqrt(2 / (entrées + sorties)) ou 1 / sqrt(entrées) pour tanh, et sqrt(2 / entrées) pour ReLU
connexion résiduelle
ajouter l'entrée d'un bloc à sa sortie : h + f(h)
À ton tour

Remplis my_guess. Puis écris block(h, W, b, shortcuts, depth) : sans raccourcis, renvoie relu(h @ W + b) ; avec raccourcis, renvoie h + relu(h @ W + b) * (1 / depth). Le test entraîne les deux réseaux de 30 couches à partir des mêmes petits poids de départ.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.