Inclinações por nudging (derivadas)
Por que isso importa O Treinamento faz uma pergunta repetidamente: se eu ajustar este peso, o que acontece com a loss? Essa pergunta tem um nome: a derivada.
Veja isso
Pegue f(x) = x * x em x = 3, onde f é 9. Mude x para 3.001: f se torna 9.006001. A saída moveu 0.006001 para um movimento de entrada de 0.001, cerca de 6 vezes mais. Então a inclinação em 3 é cerca de 6.
A inclinação exata de x ao quadrado é 2 vezes x, que é 6 em x = 3. O nudge chegou quase exatamente. Fazer o nudge nos dois sentidos e tirar a média, (f(x + h) - f(x - h)) / (2h), é ainda mais acurado.
Derivative: quão rápido a saída muda por unidade de mudança da entrada, em um ponto. A inclinação da curva ali.
Inclinações que você vai precisar
Você sempre pode ajustar, mas essas inclinações exatas aparecem repetidamente neste curso. Cada uma é fácil de verificar com sua função slope.
| Function | Slope |
|---|---|
| x elevado à potência n | n vezes x elevado a n - 1 (então x ao quadrado tem inclinação 2x) |
| exp(x) | exp(x): sua própria inclinação |
| log(x) | 1 / x |
| sigmoid(x) = 1 / (1 + exp(-x)) | sigmoid(x) vezes (1 - sigmoid(x)) |
| tanh(x) | 1 - tanh(x) ao quadrado |
| a vezes b, ambos dependendo de x | (inclinação de a) vezes b + a vezes (inclinação de b): a regra do produto |
| f(g(x)), uma dentro da outra | inclinação de f em g(x), vezes a inclinação de g: a regra da cadeia, próxima lição |
Resumo Empurrar, medir, dividir. Isso é tudo o que uma derivada é.
Palavras e símbolos nesta lição
- derivada (df/dx)
- quão rápido a saída muda por unidade de ajuste da entrada
- regra da cadeia
- a inclinação de steps em uma linha é o produto da inclinação de cada step
Escreva slope(f, x, h=1e-5) usando o nudge de dois lados. Deve funcionar para qualquer function de um número.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.