Passos ruidosos (SGD e minibatches)
Por que isso importa Conjuntos de dados reais têm milhões de exemplos. Calcular o gradiente exato em todos eles para cada step é muito lento, então nós o estimamos a partir de um pequeno batch.
A minibatch gradient usa, por exemplo, 32 exemplos aleatórios em vez de todos os 512. Ele aponta aproximadamente para baixo, com algum ruído. Você obtém 16 passos ruidosos baratos pelo preço de um passo exato, e na prática isso vence facilmente.
O que o ruído faz
A curva de perda fica serrilhada em vez de suave, e perto do fundo ela nunca se estabiliza completamente: ela oscila em torno do mínimo. Diminuir a learning rate no final do treinamento acalma a oscilação. Algum ruído é até útil em redes grandes, tirando a caminhada de pontos ruins.
SGD: stochastic gradient descent, gradient descent com estimativas de minibatch do gradiente.
Resumo Muitos passos barulhentos e baratos vencem poucos exatos.
Palavras e símbolos nesta lição
- SGD
- descida do gradiente usando pequenos lotes aleatórios
- minibatch
- um pequeno pedaço aleatório dos dados usado para um passo
Escreva sgd(X, y, lr, batch, epochs, seed) para linear regression (loss: mean squared error), embaralhando cada epoch, retornando (w, losses) onde losses é o loss do dado completo após cada epoch. Com batch 32, lr 0.05 e 10 epochs ele deve terminar abaixo de 0.02.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.