Programme Leçon 28 sur 246 · Module 2 : Maths et probabilités, juste ce qu'il faut
Module 2 : Maths et probabilités, juste ce qu'il faut

Pourquoi revenir en arrière ne coûte pas cher (mode inverse)

Pourquoi c'est important Un réseau a des millions de poids. Si chaque gradient demandait son propre passage, l'entraînement serait impossible. Revenir en arrière les obtient tous pour à peu près le prix d'un passage de plus.

De tout petits nombres

Prends L = f3(f2(f1(x))) où x a 3 nombres et L est un seul nombre. En allant vers l'avant avec des poussées, tu pousses une entrée, tu la fais passer par les trois étapes, et tu apprends un gradient. Trois entrées veulent dire trois trajets complets.

En allant vers l'arrière, tu pars de L, qui est un seul nombre, et tu fais remonter « à quel point L tient-il à ceci ? » à travers f3, puis f2, puis f1. Un seul trajet donne le gradient de chaque entrée d'un coup.

Avec 3 entrées, tu fais 1 trajet au lieu de 3. Avec un million de poids, 1 trajet au lieu d'un million. Un trajet en arrière n'est pas gratuit, cela dit : il coûte environ 2 à 3 passages vers l'avant, parce que chaque étape doit multiplier par ses pentes locales. Donc en pratique, le gain est d'environ n / 3, ce qui pour un million de poids fait encore environ 300 000 fois. C'est pourquoi toutes les bibliothèques d'apprentissage profond travaillent en arrière.

Mode inverse : calculer les gradients en balayant de la sortie vers les entrées. Sa brique de base s'appelle un produit vecteur-jacobienne ; la leçon suivante le décortique.

Récap Une sortie, beaucoup d'entrées : va en arrière.

Mots et symboles de cette leçon
vecteur
une liste de nombres, un par caractéristique
À ton tour

Remplis les nombres d'opérations pour un réseau avec n poids et une perte. forward_trips(n) : combien de passages complets demande la méthode qui pousse chaque entrée (un passage poussé par poids ; laisse de côté le passage unique sans poussée que tu ferais aussi). backward_trips(n) : combien de balayages en arrière demande le mode inverse. Puis affecte à saving_for_a_million le rapport des trajets (pas du travail) pour n = 1 000 000.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.