Programma Les 28 van 246 · Module 2: Wiskunde en kansberekening, alleen indien nodig
Module 2: Wiskunde en kansberekening, alleen indien nodig

Waarom achterwaarts goedkoop is (reverse mode)

Waarom dit ertoe doet Een netwerk heeft miljoenen weights. Als elke gradient zijn eigen pass nodig zou hebben, zou training onmogelijk zijn. Achteruit gaan haalt ze allemaal voor ongeveer de prijs van nog een pass.

Tintalletjes

Neem L = f3(f2(f1(x))) waar x 3 getallen heeft en L één getal is. Ga forward met nudges, je geeft één input een nudge, duwt het door alle drie de stappen en leert één gradient. Drie inputs betekent drie volledige reizen.

Gaant achteruit, begin je bij L, wat één getal is, en duw "hoeveel geeft L om dit?" terug door f3, dan f2, dan f1. Eén reis geeft de gradiënt voor elke input tegelijk.

Met 3 inputs maak je 1 trip in plaats van 3. Met een miljoen weights, 1 trip in plaats van een miljoen. Een backward trip is niet gratis: het kost ongeveer 2 tot 3 forward passes, omdat elke step moet vermenigvuldigen met zijn lokale slopes. Dus in echt werk is de besparing ongeveer n / 3, wat voor een miljoen weights nog steeds rond de 300,000 keer is. Daarom werkt elke deep learning library backward.

Reverse mode: het berekenen van gradiënten door van de output terug naar de inputs te bewegen. De bouwsteen wordt een vector-Jacobian product genoemd; de volgende les haalt dit uit elkaar.

Samenvatting Eén output, veel inputs: ga terug.

Woorden en symbolen in deze les
vector
een lijst van getallen, één per feature
Jij bent aan de beurt

Vul de operatie-aantallen in voor een netwerk met n weights en één loss. forward_trips(n): hoeveel volledige passes de nudge-each-input methode nodig heeft (één genudgede pass per weight; laat de enkele niet-genudgede pass die je ook zou uitvoeren weg). backward_trips(n): hoeveel backward sweeps reverse mode nodig heeft. Stel daarna saving_for_a_million in op de ratio van trips (niet van werk) voor n = 1,000,000.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.