Conteúdo do curso Lição 67 de 246 · Módulo 5: Otimização
Módulo 5: Otimização

Tamanho do lote e taxa de aprendizado juntos

Por que isso importa Batch size e learning rate não são botões separados. Mude um e o melhor valor do outro se move.

Um lote maior dá um gradiente menos ruidoso, então ele pode dar um passo maior com segurança. Uma regra aproximada que muita gente usa para começar: se você dobrar o batch size, você pode aproximadamente dobrar a learning rate, até um ponto onde o passo se torna instável.

Os resultados também variam de semente para semente, então compare as configurações em várias sementes, nunca em apenas uma execução.

Mais uma armadilha: os labels aqui carregam ruído com spread 0.1, então nenhuma configuração pode empurrar a loss abaixo de cerca de 0.1 ao quadrado = 0.01. Perto desse piso, vários pares empatam (por exemplo 0.0113 contra 0.0114). Um "vencedor" por menos que a oscilação seed-to-seed não é um vencedor, então a execução também lista cada par dentro de 5% do melhor.

Resumo Ajuste-os juntos e tire a média sobre as seeds.

Palavras e símbolos nesta lição
SGD
descida do gradiente usando pequenos lotes aleatórios
Sua vez

Preveja primeiro: em my_pick, escreva o par (batch, lr) da grade que você acha que termina com a menor loss após 2 epochs. Depois escreva sweep(X, y, batches, lrs, seeds) retornando um dictionary de (batch, lr) para a mean final loss sobre as seeds (use o sgd fornecido), e best(results) retornando o melhor par.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.