Programma Les 26 van 246 · Module 2: Wiskunde en kansberekening, alleen indien nodig
Module 2: Wiskunde en kansberekening, alleen indien nodig

Hellings door nudging (afgeleiden)

Waarom dit ertoe doet Training stelt één vraag steeds opnieuw: als ik dit gewicht een beetje aanpas, wat gebeurt er dan met de loss? Die vraag heeft een naam: de afgeleide.

Bekijk het

Neem f(x) = x * x bij x = 3, waar f is 9. Verander x naar 3.001: f wordt 9.006001. De output veranderde met 0.006001 voor een inputverandering van 0.001, ongeveer 6 keer zoveel. Dus de helling bij 3 is ongeveer 6.

De exacte helling van x kwadraat is 2 keer x, wat 6 is bij x = 3. De nudge kreeg het bijna precies goed. Nudging in beide richtingen en het gemiddelde nemen, (f(x + h) - f(x - h)) / (2h), is nog nauwkeuriger.

Derivative: hoe snel de output verandert per eenheid verandering van de input, op één punt. De helling van de curve daar.

Hellingen die je nodig hebt

Je kunt altijd een beetje aanpassen, maar deze exacte hellingen komen steeds opnieuw voor in deze cursus. Elke helling is makkelijk te controleren met je slope functie.

FunctionSlope
x tot de macht nn keer x tot de macht n - 1 (dus x kwadraat heeft helling 2x)
exp(x)exp(x): zijn eigen helling
log(x)1 / x
sigmoid(x) = 1 / (1 + exp(-x))sigmoid(x) keer (1 - sigmoid(x))
tanh(x)1 - tanh(x) in het kwadraat
a keer b, beide afhankelijk van x(helling van a) keer b + a keer (helling van b): de productregel
f(g(x)), één binnen de anderehelling van f bij g(x), vermenigvuldigd met de helling van g: de kettingregel, volgende les

Samenvatting Duwen, meten, delen. Dat is alles wat een afgeleide is.

Woorden en symbolen in deze les
afgeleide (df/dx)
hoe snel de output verandert per eenheid duwtje van de input
chain rule
de helling van stappen in een rij is het product van de helling van elke eigen stap
Jij bent aan de beurt

Schrijf slope(f, x, h=1e-5) met de twee-zijdige nudge. Het moet werken voor elke functie van één getal.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.