Conteúdo do curso Lição 26 de 246 · Módulo 2: Matemática e probabilidade, apenas conforme necessário
Módulo 2: Matemática e probabilidade, apenas conforme necessário

Inclinações por nudging (derivadas)

Por que isso importa O Treinamento faz uma pergunta repetidamente: se eu ajustar este peso, o que acontece com a loss? Essa pergunta tem um nome: a derivada.

Veja isso

Pegue f(x) = x * x em x = 3, onde f é 9. Mude x para 3.001: f se torna 9.006001. A saída moveu 0.006001 para um movimento de entrada de 0.001, cerca de 6 vezes mais. Então a inclinação em 3 é cerca de 6.

A inclinação exata de x ao quadrado é 2 vezes x, que é 6 em x = 3. O nudge chegou quase exatamente. Fazer o nudge nos dois sentidos e tirar a média, (f(x + h) - f(x - h)) / (2h), é ainda mais acurado.

Derivative: quão rápido a saída muda por unidade de mudança da entrada, em um ponto. A inclinação da curva ali.

Inclinações que você vai precisar

Você sempre pode ajustar, mas essas inclinações exatas aparecem repetidamente neste curso. Cada uma é fácil de verificar com sua função slope.

FunctionSlope
x elevado à potência nn vezes x elevado a n - 1 (então x ao quadrado tem inclinação 2x)
exp(x)exp(x): sua própria inclinação
log(x)1 / x
sigmoid(x) = 1 / (1 + exp(-x))sigmoid(x) vezes (1 - sigmoid(x))
tanh(x)1 - tanh(x) ao quadrado
a vezes b, ambos dependendo de x(inclinação de a) vezes b + a vezes (inclinação de b): a regra do produto
f(g(x)), uma dentro da outrainclinação de f em g(x), vezes a inclinação de g: a regra da cadeia, próxima lição

Resumo Empurrar, medir, dividir. Isso é tudo o que uma derivada é.

Palavras e símbolos nesta lição
derivada (df/dx)
quão rápido a saída muda por unidade de ajuste da entrada
regra da cadeia
a inclinação de steps em uma linha é o produto da inclinação de cada step
Sua vez

Escreva slope(f, x, h=1e-5) usando o nudge de dois lados. Deve funcionar para qualquer function de um número.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.