Programma Les 63 van 246 · Module 4: Je eigen autograd engine
Module 4: Je eigen autograd engine

Gate: voeg een nieuwe operatie toe (AI uit)

Waarom dit ertoe doet Het toevoegen van een operatie, met zijn achterwaartse regel, en het controleren ervan, is precies wat je zult doen voor elke nieuwe laag in Etappe 3. Hier doe je het alleen. Ken je dit module al? Je kunt deze gate eerst doen, voor de andere lessen: het voltooien ervan markeert deze module als af en opent de volgende.

AI tutor uit. Voeg tanh, exp en log toe aan je engine, elk met zijn eigen achterwaartse regel. Bereken de lokale helling van elk zelf (de hellingen van Module 2, en controleer elk met nudging voordat je het vertrouwt).

Woorden en symbolen in deze les
Tensor
hier: een array plus zijn gradiënt plus de Tensors waaruit het kwam
.grad
de gradiënt van de uiteindelijke loss ten opzichte van deze Tensor
unbroadcast
summing een gradient terug naar de vorm waar het van is uitgerekt
zero_grad
het resetten van gradiënten voor de volgende stap, omdat backward ze toevoegt
Jij bent aan de beurt

Schrijf de drie methoden op Tensor. De verborgen test controleert de gradiënten van een formule die alle drie gebruikt, op nieuwe invoer.

AI uit: geen tutor, hints of uitgewerkte oplossing voor deze. Alleen je eigen denkwerk.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Code · draait in je browser
Uitvoer

        

Je voortgang wordt anoniem geteld. Verander dit