Hellings door nudging (afgeleiden)
Waarom dit ertoe doet Training stelt één vraag steeds opnieuw: als ik dit gewicht een beetje aanpas, wat gebeurt er dan met de loss? Die vraag heeft een naam: de afgeleide.
Bekijk het
Neem f(x) = x * x bij x = 3, waar f is 9. Verander x naar 3.001: f wordt 9.006001. De output veranderde met 0.006001 voor een inputverandering van 0.001, ongeveer 6 keer zoveel. Dus de helling bij 3 is ongeveer 6.
De exacte helling van x kwadraat is 2 keer x, wat 6 is bij x = 3. De nudge kreeg het bijna precies goed. Nudging in beide richtingen en het gemiddelde nemen, (f(x + h) - f(x - h)) / (2h), is nog nauwkeuriger.
Derivative: hoe snel de output verandert per eenheid verandering van de input, op één punt. De helling van de curve daar.
Hellingen die je nodig hebt
Je kunt altijd een beetje aanpassen, maar deze exacte hellingen komen steeds opnieuw voor in deze cursus. Elke helling is makkelijk te controleren met je slope functie.
| Function | Slope |
|---|---|
| x tot de macht n | n keer x tot de macht n - 1 (dus x kwadraat heeft helling 2x) |
| exp(x) | exp(x): zijn eigen helling |
| log(x) | 1 / x |
| sigmoid(x) = 1 / (1 + exp(-x)) | sigmoid(x) keer (1 - sigmoid(x)) |
| tanh(x) | 1 - tanh(x) in het kwadraat |
| a keer b, beide afhankelijk van x | (helling van a) keer b + a keer (helling van b): de productregel |
| f(g(x)), één binnen de andere | helling van f bij g(x), vermenigvuldigd met de helling van g: de kettingregel, volgende les |
Samenvatting Duwen, meten, delen. Dat is alles wat een afgeleide is.
Woorden en symbolen in deze les
- afgeleide (df/dx)
- hoe snel de output verandert per eenheid duwtje van de input
- chain rule
- de helling van stappen in een rij is het product van de helling van elke eigen stap
Schrijf slope(f, x, h=1e-5) met de twee-zijdige nudge. Het moet werken voor elke functie van één getal.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.