Conteúdo do curso Lição 104 de 250 · Intuição de Redes Neurais, LLMs e Conclusão de IA
Intuição de Redes Neurais, LLMs e Conclusão de IA

Backprop & Verificação de Gradiente

Você treinou um modelo de brinquedo empurrando os pesos para baixo. Mas de onde vêm os gradientes e como você sabe que eles estão certos? Esta lição responde a ambos, e a segunda resposta, gradient checking, é o único hábito que separa redes neurais funcionais daquelas silenciosamente quebradas.

Backprop é apenas a regra da cadeia. Pegue um exemplo através de um modelo pequeno: preveja z = w * x, depois meça o erro ao quadrado L = (z - y)**2. Para melhorar w você precisa de dL/dw. Calcule em dois saltos e multiplique:

dL/dz = 2 * (z - y)        # how loss moves with the prediction
dz/dw = x                  # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * x

Aquele produto É o backpropagation, em miniatura: cada camada multiplica o gradiente que flui de volta pela sua própria derivada local. Empilhe um milhão desses e você tem uma rede profunda.

Agora, sua fórmula está correta? Verifique numericamente. A definição de uma derivada é um pequeno empurrão, então estime com uma diferença finita central e verifique se o gradiente analítico concorda:

numeric = (L(w + h) - L(w - h)) / (2 * h)   # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6   # they should agree to many digits

Se eles discordarem, seu backward pass tem um bug, toda base de código séria de DL faz gradient-checks exatamente por esse motivo.

Construa duas funções. loss(w, x, y) retorna (w*x - y)**2. grad(w, x, y) retorna o gradiente analítico dL/dw = 2*(w*x - y)*x. Os testes ocultos farão um gradient-check na sua grad contra uma diferença finita da sua própria loss em vários pontos aleatórios, então uma fórmula errada não pode passar. Pressione Run para ver o alinhamento analítico vs numérico.

Sua vez

Escreva loss(w, x, y) retornando o erro ao quadrado (w*x - y)**2, e grad(w, x, y) retornando seu gradiente analítico em relação a w, que pela regra da cadeia é 2*(w*x - y)*x. Seu grad será verificado por gradiente contra uma diferença finita central de seu próprio loss em muitos pontos aleatórios, então ele deve ser a derivada verdadeira, não uma aproximação ou uma constante.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.