Um verificador de gradiente que você usará em todo o curso
Por que isso importa Um gradiente errado não causa erro. O treinamento apenas vai mal silenciosamente. Um gradient checker detecta o erro em segundos, e você usará este em cada módulo.
A ideia é o nudge do Módulo 2, feito para cada peso: mude o peso i para cima e para baixo por h, meça a perda em ambas as vezes e divida a diferença por 2h. Compare com o gradiente da sua fórmula.
O quão próximo é próximo?
Use o erro relativo: |a - b| dividido pelo maior entre |a| e |b| (ou 1e-8 se ambos forem minúsculos). Abaixo de 1e-6 é uma aprovação; acima de 1e-3 quase sempre significa um bug.
Verificação de gradiente: comparando um gradiente analítico (da sua fórmula) com um numérico (de nudging).
Resumo Árbitro lento mas confiável. Use antes de confiar em qualquer novo gradiente.
Palavras e símbolos nesta lição
- taxa de aprendizado (lr)
- quão grande cada training step é
- verificação de gradiente
- comparando sua fórmula de gradiente com uma estimativa de empurrrar e medir
Escreva numeric_grad(f, w, h=1e-5) (w é um array NumPy de qualquer formato; retorne um array do mesmo formato) e grad_check(f, grad, w) retornando o maior erro relativo. Aqui f(w) pega o array de pesos e retorna a perda como um único número, e grad é um array (o gradiente da sua fórmula em w, já calculado), não uma função. Não mude w permanentemente. Para visitar cada posição de um array de qualquer formato, for idx in np.ndindex(w.shape): fornece cada tupla de índice em turnos. O teste oculto fornece ao seu verificador três gradientes sutilmente errados; cada um deve marcar acima de 1e-3.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.