Steigungen durch Nudging (Ableitungen)
Warum das wichtig ist Training stellt immer wieder eine Frage: wenn ich dieses Gewicht leicht ändere, was passiert mit dem loss? Diese Frage hat einen Namen: die derivative.
Sieh es dir an
Nimm f(x) = x * x bei x = 3 an, wo f 9 ist. Ändere x leicht auf 3.001: f wird zu 9.006001. Der Output bewegte sich um 0.006001 für eine Eingabeänderung von 0.001, also etwa das Sechsfache. Die Steigung bei 3 ist also etwa 6.
Die exakte Steigung von x zum Quadrat ist 2 mal x, was 6 bei x = 3 ist. Der Nudge hat es fast genau getroffen. In beide Richtungen zu nudgen und zu mitteln, (f(x + h) - f(x - h)) / (2h), ist noch genauer.
Derivative: wie schnell sich der output pro Einheit Änderung des inputs an einem Punkt ändert. Die Steigung der Kurve dort.
Hänge, die du brauchen wirst
Du kannst immer schieben, aber diese exakten Steigungen tauchen in diesem Kurs immer wieder auf. Jede ist leicht mit deiner slope function zu prüfen.
| Function | Slope |
|---|---|
| x hoch n | n mal x hoch n - 1 (so hat x zum Quadrat die Steigung 2x) |
| exp(x) | exp(x): seine eigene Steigung |
| log(x) | 1 / x |
| sigmoid(x) = 1 / (1 + exp(-x)) | sigmoid(x) mal (1 - sigmoid(x)) |
| tanh(x) | 1 - tanh(x) zum Quadrat |
| a mal b, beide abhängig von x | (Steigung von a) mal b + a mal (Steigung von b): die Produktregel |
| f(g(x)), eine in der anderen | Steigung von f bei g(x), mal Steigung von g: die Kettenregel, nächste Lektion |
Zusammenfassung Schieben, messen, teilen. Das ist alles, was eine Ableitung ist.
Wörter und Symbole in dieser Lektion
- derivative (df/dx)
- wie schnell sich der output pro Einheit Nudge des inputs ändert
- kettenregel
- die Steigung von Schritten in einer Reihe ist das Produkt der eigenen Steigung jedes Schritts
Schreibe slope(f, x, h=1e-5) mit dem beidseitigen Nudge. Es muss für jede Funktion einer Zahl funktionieren.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.