Pendenze spostando di poco (derivate)
Perché è importante L'addestramento fa una domanda ancora e ancora: se sposto di poco questo peso, che cosa succede alla loss? Quella domanda ha un nome: la derivata.
Guardalo
Prendi f(x) = x * x in x = 3, dove f vale 9. Sposta x a 3.001: f diventa 9.006001. L'output si è mosso di 0.006001 per uno spostamento dell'input di 0.001, circa 6 volte tanto. Quindi la pendenza in 3 è circa 6.
La pendenza esatta di x al quadrato è 2 per x, che fa 6 in x = 3. Lo spostamento ci è arrivato quasi esattamente. Spostare in entrambe le direzioni e fare la media, (f(x + h) - f(x - h)) / (2h), è ancora più preciso.
Derivata: quanto in fretta cambia l'output per ogni unità di cambiamento dell'input, in un punto. La pendenza della curva lì.
Pendenze che ti serviranno
Puoi sempre spostare di poco, ma queste pendenze esatte ricorrono in continuazione in questo corso. Ognuna si verifica facilmente con la tua funzione slope.
| Funzione | Pendenza |
|---|---|
| x alla potenza n | n per x alla potenza n - 1 (quindi x al quadrato ha pendenza 2x) |
| exp(x) | exp(x): la sua stessa pendenza |
| log(x) | 1 / x |
| sigmoid(x) = 1 / (1 + exp(-x)) | sigmoid(x) per (1 - sigmoid(x)) |
| tanh(x) | 1 - tanh(x) al quadrato |
| a per b, entrambi dipendenti da x | (pendenza di a) per b + a per (pendenza di b): la regola del prodotto |
| f(g(x)), una dentro l'altra | pendenza di f in g(x), per pendenza di g: la regola della catena, lezione successiva |
Riepilogo Sposta di poco, misura, dividi. Una derivata non è altro.
Parole e simboli di questa lezione
- derivata (df/dx)
- quanto in fretta cambia l'output per ogni unità di spostamento dell'input
- regola della catena
- la pendenza di passi in fila è il prodotto della pendenza di ciascun passo
Scrivi slope(f, x, h=1e-5) usando lo spostamento da entrambi i lati. Deve funzionare per qualsiasi funzione di un numero.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.