Raccourcis (connexions résiduelles)
Pourquoi c'est important Les connexions résiduelles sont la raison pour laquelle des réseaux de centaines de couches s'entraînent tout court. Chaque bloc de transformer les utilise.
Une couche simple remplace son entrée : h = f(h). Un bloc résiduel y ajoute : h = h + f(h). Si f n'apprend rien d'utile, le bloc laisse simplement passer h inchangé, donc plus de profondeur ne peut jamais empirer les choses au départ. Et au retour, le gradient a une route directe le long du chemin « + h », en sautant complètement la couche, donc il ne peut pas s'évanouir.
Un avertissement honnête sur l'expérience ci-dessous : les deux réseaux partent des mêmes poids volontairement petits, N(0, 0.1). C'est ce départ qui coule le réseau simple. Avec les poids de départ He vus plus tôt dans ce module, le réseau simple de 30 couches s'entraîne aussi (5 graines sur 6 dans les exécutions du cours). Ce que les raccourcis ajoutent, c'est de la robustesse : ils s'entraînent même à partir d'un mauvais départ, et ils continuent de marcher à des profondeurs où des poids de départ soignés ne suffisent plus.
Ici, la contribution de chaque bloc est aussi multipliée par 1 / depth, une astuce courante pour que 30 additions ne fassent pas exploser le signal.
Connexion résiduelle (ou connexion de saut, raccourci) : ajouter l'entrée d'un bloc à sa sortie.
Prédis la courbe : devine la perte finale après 150 pas pour le réseau simple et pour celui avec raccourcis. (Une perte de 0.693 veut dire pile ou face sur cette tâche à deux classes.)
Mots et symboles de cette leçon
- Xavier, LeCun, He
- dispersions de départ sqrt(2 / (entrées + sorties)) ou 1 / sqrt(entrées) pour tanh, et sqrt(2 / entrées) pour ReLU
- connexion résiduelle
- ajouter l'entrée d'un bloc à sa sortie : h + f(h)
Remplis my_guess. Puis écris block(h, W, b, shortcuts, depth) : sans raccourcis, renvoie relu(h @ W + b) ; avec raccourcis, renvoie h + relu(h @ W + b) * (1 / depth). Le test entraîne les deux réseaux de 30 couches à partir des mêmes petits poids de départ.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.