Programma Les 51 van 246 · Module 4: Je eigen autograd engine
Module 4: Je eigen autograd engine

Hook: tien regels die een cijferlezer trainen

Waarom dit ertoe doet In Module 3 heb je elke gradient met de hand geschreven. Echte netwerken hebben tientallen soorten lagen; niemand leidt die elke keer met de hand af. Een autograd engine doet dit voor je, en aan het einde van deze module heb je er een geschreven.

De eerste regels importeren de voltooide engine die je gaat bouwen (deze blijft onzichtbaar, zodat de komende lessen voor jou zijn om op te lossen). Kijk naar de tien regels na de data: ze bouwen een netwerk, trainen het op cijfers, en nergens noemen ze een gradiëntformule. loss.backward() berekent ze allemaal.

Roep Curve eerst aan: schat de gemiddelde trainingsverlies na epoch 1 en na epoch 10.

Autograd: automatische differentiatie. Je schrijft alleen de forward berekening; de engine legt dit vast en berekent elke gradiënt door de kettingregel achterwaarts uit te voeren.

Woorden en symbolen in deze les
autograd
automatische gradiënten: je schrijft de forward pass, de engine doet de backward
Tensor
hier: een array plus zijn gradiënt plus de Tensors waaruit het kwam
zero_grad
het resetten van gradiënten voor de volgende stap, omdat backward ze toevoegt
Jij bent aan de beurt

Vul my_guess in, en voer dan uit. Lees de tien trainingsregels en let op wat ontbreekt.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.