Lagen die hun eigen weights vasthouden
Waarom dit ertoe doetEchte netwerken hebben veel lagen. Elke laag moet zijn eigen weights bezitten en deze moeten kunnen listen, zodat de training code nooit hoeft te weten wat er binnenin zit.
A Linear laag houdt W en b vast als Tensors en berekent x @ W + b. Een MLP houdt een lijst van Linear layers met ReLU ertussen vast. Beide bieden parameters(), een lijst van hun weight Tensors.
Waarom de gradiënten naar nul zetten
Je backward adds aan elke grad. Dat is juist binnen één pass, maar tussen stappen blijft de oude gradient daar staan. Vergeet het te wissen en elke stap gebruikt de som van alle vorige gradients: training drift en explodeert dan. Dus elke stap is: zero de grads, forward, backward, step.
Parameter: een gewicht dat de training verandert. zero_grad: het resetten van de grad van elke parameter naar nul voor de volgende backward.
Start de weights met spread sqrt(2 / inputs), wat de signals een logische grootte houdt door de ReLU layers. Module 6 legt uit Waarom dit ertoe doet.
Woorden en symbolen in deze les
- Tensor
- hier: een array plus zijn gradiënt plus de Tensors waaruit het kwam
- unbroadcast
- summing een gradient terug naar de vorm waaruit het werd uitgerekt
- zero_grad
- het resetten van gradiënten voor de volgende stap, omdat backward ze toevoegt
Schrijf Linear, MLP, zero_grad(params) en sgd_step(params, lr) zoals beschreven. MLP([64, 32, 10], rng) maakt twee Linear layers met een ReLU ertussen en geen na de laatste.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.