Aquecimento e cronogramas de cosseno
Por que isso importa A melhor learning rate não é a mesma durante todo o treinamento. Modelos grandes são quase sempre treinados com um schedule: um começo suave, um meio longo e alto, e um pouso lento.
Veja isso
Reproduza a animação. Aquecimento: a taxa sobe em linha reta de quase zero até o seu pico nos primeiros centenas de passos, porque logo no início os gradientes são grandes e não confiáveis. Decaimento de cosseno: então ela desce ao longo de meia onda de cosseno até um piso pequeno, então o treinamento tardio dá passos pequenos e cuidadosos e se estabiliza em um bom lugar.
if step < warmup: lr = peak * (step + 1) / warmup
else: progress = (step - warmup) / (total - warmup)
lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))
Resumo Acelerar, cruzeiro, descida.
Palavras e símbolos nesta lição
- warmup, cosine
- comece a learning rate pequena, depois diminua ela ao longo de um cosseno
Escreva lr_at(step, total, warmup, peak, floor) seguindo as fórmulas acima (os passos contam a partir de 0).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.