Conteúdo do curso Lição 73 de 246 · Módulo 5: Otimização
Módulo 5: Otimização

Encontrando uma learning rate rápido e cortando picos

Por que isso importa Chutar taxas de aprendizado desperdiça dias. Uma execução curta te diz uma boa taxa. E um lote ruim pode arruinar uma execução a menos que você limite o step.

O teste de intervalo

Treine por alguns centenas de steps enquanto aumenta a learning rate um pouco a cada step, de minúscula a enorme, e registre o loss. No início nada acontece; depois o loss cai rápido; depois ele explode. Uma boa learning rate fica onde o loss estava caindo mais rápido, um pouco abaixo da explosão. Uma regra comum: pegue a taxa onde o loss foi mais baixo e divida por 10.

Clipping

Se o tamanho total do gradiente (seu comprimento, ou norma) estiver acima de um limite, reduza o gradiente inteiro para aquele comprimento. A direção é mantida; apenas um passo enorme raro é controlado.

Norma do gradiente: o comprimento de todos os gradientes tomados como um único vetor longo: a raiz quadrada da soma de seus quadrados.

Palavras e símbolos nesta lição
norma do gradiente, clipping
o tamanho total do gradiente e limitá-lo
Sua vez

Escreva pick_lr(lrs, losses): a learning rate onde a perda foi menor, dividida por 10. E clip(grads, max_norm): grads é uma lista de arrays; se a norma combinada deles for acima de max_norm, retorne todos eles escalonados para que a norma seja igual a max_norm, caso contrário retorne eles inalterados.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.