Encontrando uma learning rate rápido e cortando picos
Por que isso importa Chutar taxas de aprendizado desperdiça dias. Uma execução curta te diz uma boa taxa. E um lote ruim pode arruinar uma execução a menos que você limite o step.
O teste de intervalo
Treine por alguns centenas de steps enquanto aumenta a learning rate um pouco a cada step, de minúscula a enorme, e registre o loss. No início nada acontece; depois o loss cai rápido; depois ele explode. Uma boa learning rate fica onde o loss estava caindo mais rápido, um pouco abaixo da explosão. Uma regra comum: pegue a taxa onde o loss foi mais baixo e divida por 10.
Clipping
Se o tamanho total do gradiente (seu comprimento, ou norma) estiver acima de um limite, reduza o gradiente inteiro para aquele comprimento. A direção é mantida; apenas um passo enorme raro é controlado.
Norma do gradiente: o comprimento de todos os gradientes tomados como um único vetor longo: a raiz quadrada da soma de seus quadrados.
Palavras e símbolos nesta lição
- norma do gradiente, clipping
- o tamanho total do gradiente e limitá-lo
Escreva pick_lr(lrs, losses): a learning rate onde a perda foi menor, dividida por 10. E clip(grads, max_norm): grads é uma lista de arrays; se a norma combinada deles for acima de max_norm, retorne todos eles escalonados para que a norma seja igual a max_norm, caso contrário retorne eles inalterados.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.