Pourquoi revenir en arrière ne coûte pas cher (mode inverse)
Pourquoi c'est important Un réseau a des millions de poids. Si chaque gradient demandait son propre passage, l'entraînement serait impossible. Revenir en arrière les obtient tous pour à peu près le prix d'un passage de plus.
De tout petits nombres
Prends L = f3(f2(f1(x))) où x a 3 nombres et L est un seul nombre. En allant vers l'avant avec des poussées, tu pousses une entrée, tu la fais passer par les trois étapes, et tu apprends un gradient. Trois entrées veulent dire trois trajets complets.
En allant vers l'arrière, tu pars de L, qui est un seul nombre, et tu fais remonter « à quel point L tient-il à ceci ? » à travers f3, puis f2, puis f1. Un seul trajet donne le gradient de chaque entrée d'un coup.
Avec 3 entrées, tu fais 1 trajet au lieu de 3. Avec un million de poids, 1 trajet au lieu d'un million. Un trajet en arrière n'est pas gratuit, cela dit : il coûte environ 2 à 3 passages vers l'avant, parce que chaque étape doit multiplier par ses pentes locales. Donc en pratique, le gain est d'environ n / 3, ce qui pour un million de poids fait encore environ 300 000 fois. C'est pourquoi toutes les bibliothèques d'apprentissage profond travaillent en arrière.
Mode inverse : calculer les gradients en balayant de la sortie vers les entrées. Sa brique de base s'appelle un produit vecteur-jacobienne ; la leçon suivante le décortique.
Récap Une sortie, beaucoup d'entrées : va en arrière.
Mots et symboles de cette leçon
- vecteur
- une liste de nombres, un par caractéristique
Remplis les nombres d'opérations pour un réseau avec n poids et une perte. forward_trips(n) : combien de passages complets demande la méthode qui pousse chaque entrée (un passage poussé par poids ; laisse de côté le passage unique sans poussée que tu ferais aussi). backward_trips(n) : combien de balayages en arrière demande le mode inverse. Puis affecte à saving_for_a_million le rapport des trajets (pas du travail) pour n = 1 000 000.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.