Por que uma tigela esticada é lenta (condicionamento)
Por que isso importa Paisagens de perda reais são íngremes em algumas direções e quase planas em outras. Esse desajuste, não o número de pesos, é o que torna o gradiente descendente simples lento.
Veja isso
Pegue f = (k x squared + y squared) / 2. Com k = 1 é uma tigela redonda. Com k = 100 é um vale longo e fino: íngreme na travessia, suave ao longo. A learning rate tem que servir para ambas as direções ao mesmo tempo. A melhor escolha única, lr = 2 / (k + 1), faz cada step manter (k - 1) / (k + 1) da distância em ambas as direções: 0.98 dela quando k = 100. Qualquer valor maior e a direção íngreme ultrapassa e se estabiliza mais devagar (acima de 2 / k ela cresce sem limite); qualquer valor menor e a direção suave rasteja ainda mais devagar. Então a caminhada faz zigue-zague pela travessia do vale enquanto rasteja ao longo dele.
Número de condição: a razão da curvatura mais íngreme para a mais suave, aqui k. O gradiente descendente simples precisa de aproximadamente k passos para progredir bem.
Chame a Curva: antes de rodar, preveja quantos steps são necessários para chegar a 0.001 do fundo para k = 1, 10 e 100, usando a melhor learning rate fixa, 2 / (k + 1).
Resumo Stretch reduz a descida simples na proporção do stretch.
Palavras e símbolos nesta lição
- número de condição
- o quanto mais íngreme a direção mais íngreme é do que a mais suave
Preencha my_guess (três contagens de passos), depois escreva steps_to_converge(k): comece em (1, 1), use lr = 2 / (k + 1), e conte os steps até que a distância para (0, 0) seja menor que 0.001 (pare em 100,000).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.