Backprop & Verificação de Gradiente
Você treinou um modelo de brinquedo empurrando os pesos para baixo. Mas de onde vêm os gradientes e como você sabe que eles estão certos? Esta lição responde a ambos, e a segunda resposta, gradient checking, é o único hábito que separa redes neurais funcionais daquelas silenciosamente quebradas.
Backprop é apenas a regra da cadeia. Pegue um exemplo através de um modelo pequeno: preveja z = w * x, depois meça o erro ao quadrado L = (z - y)**2. Para melhorar w você precisa de dL/dw. Calcule em dois saltos e multiplique:
dL/dz = 2 * (z - y) # how loss moves with the prediction
dz/dw = x # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * xAquele produto É o backpropagation, em miniatura: cada camada multiplica o gradiente que flui de volta pela sua própria derivada local. Empilhe um milhão desses e você tem uma rede profunda.
Agora, sua fórmula está correta? Verifique numericamente. A definição de uma derivada é um pequeno empurrão, então estime com uma diferença finita central e verifique se o gradiente analítico concorda:
numeric = (L(w + h) - L(w - h)) / (2 * h) # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6 # they should agree to many digitsSe eles discordarem, seu backward pass tem um bug, toda base de código séria de DL faz gradient-checks exatamente por esse motivo.
Construa duas funções. loss(w, x, y) retorna (w*x - y)**2. grad(w, x, y) retorna o gradiente analítico dL/dw = 2*(w*x - y)*x. Os testes ocultos farão um gradient-check na sua grad contra uma diferença finita da sua própria loss em vários pontos aleatórios, então uma fórmula errada não pode passar. Pressione Run para ver o alinhamento analítico vs numérico.
Escreva loss(w, x, y) retornando o erro ao quadrado (w*x - y)**2, e grad(w, x, y) retornando seu gradiente analítico em relação a w, que pela regra da cadeia é 2*(w*x - y)*x. Seu grad será verificado por gradiente contra uma diferença finita central de seu próprio loss em muitos pontos aleatórios, então ele deve ser a derivada verdadeira, não uma aproximação ou uma constante.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.