Conteúdo do curso Lição 72 de 246 · Módulo 5: Otimização
Módulo 5: Otimização

Aquecimento e cronogramas de cosseno

Por que isso importa A melhor learning rate não é a mesma durante todo o treinamento. Modelos grandes são quase sempre treinados com um schedule: um começo suave, um meio longo e alto, e um pouso lento.

Veja isso

Reproduza a animação. Aquecimento: a taxa sobe em linha reta de quase zero até o seu pico nos primeiros centenas de passos, porque logo no início os gradientes são grandes e não confiáveis. Decaimento de cosseno: então ela desce ao longo de meia onda de cosseno até um piso pequeno, então o treinamento tardio dá passos pequenos e cuidadosos e se estabiliza em um bom lugar.

if step < warmup:  lr = peak * (step + 1) / warmup
else:              progress = (step - warmup) / (total - warmup)
                   lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))

Resumo Acelerar, cruzeiro, descida.

Palavras e símbolos nesta lição
warmup, cosine
comece a learning rate pequena, depois diminua ela ao longo de um cosseno
Sua vez

Escreva lr_at(step, total, warmup, peak, floor) seguindo as fórmulas acima (os passos contam a partir de 0).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.