Programma Lezione 26 di 246 · Modulo 2: Matematica e probabilità, solo quanto serve
Modulo 2: Matematica e probabilità, solo quanto serve

Pendenze spostando di poco (derivate)

Perché è importante L'addestramento fa una domanda ancora e ancora: se sposto di poco questo peso, che cosa succede alla loss? Quella domanda ha un nome: la derivata.

Guardalo

Prendi f(x) = x * x in x = 3, dove f vale 9. Sposta x a 3.001: f diventa 9.006001. L'output si è mosso di 0.006001 per uno spostamento dell'input di 0.001, circa 6 volte tanto. Quindi la pendenza in 3 è circa 6.

La pendenza esatta di x al quadrato è 2 per x, che fa 6 in x = 3. Lo spostamento ci è arrivato quasi esattamente. Spostare in entrambe le direzioni e fare la media, (f(x + h) - f(x - h)) / (2h), è ancora più preciso.

Derivata: quanto in fretta cambia l'output per ogni unità di cambiamento dell'input, in un punto. La pendenza della curva lì.

Pendenze che ti serviranno

Puoi sempre spostare di poco, ma queste pendenze esatte ricorrono in continuazione in questo corso. Ognuna si verifica facilmente con la tua funzione slope.

FunzionePendenza
x alla potenza nn per x alla potenza n - 1 (quindi x al quadrato ha pendenza 2x)
exp(x)exp(x): la sua stessa pendenza
log(x)1 / x
sigmoid(x) = 1 / (1 + exp(-x))sigmoid(x) per (1 - sigmoid(x))
tanh(x)1 - tanh(x) al quadrato
a per b, entrambi dipendenti da x(pendenza di a) per b + a per (pendenza di b): la regola del prodotto
f(g(x)), una dentro l'altrapendenza di f in g(x), per pendenza di g: la regola della catena, lezione successiva

Riepilogo Sposta di poco, misura, dividi. Una derivata non è altro.

Parole e simboli di questa lezione
derivata (df/dx)
quanto in fretta cambia l'output per ogni unità di spostamento dell'input
regola della catena
la pendenza di passi in fila è il prodotto della pendenza di ciascun passo
Tocca a te

Scrivi slope(f, x, h=1e-5) usando lo spostamento da entrambi i lati. Deve funzionare per qualsiasi funzione di un numero.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.