Conteúdo do curso Lição 65 de 246 · Módulo 5: Otimização
Módulo 5: Otimização

Por que uma tigela esticada é lenta (condicionamento)

Por que isso importa Paisagens de perda reais são íngremes em algumas direções e quase planas em outras. Esse desajuste, não o número de pesos, é o que torna o gradiente descendente simples lento.

Veja isso

Pegue f = (k x squared + y squared) / 2. Com k = 1 é uma tigela redonda. Com k = 100 é um vale longo e fino: íngreme na travessia, suave ao longo. A learning rate tem que servir para ambas as direções ao mesmo tempo. A melhor escolha única, lr = 2 / (k + 1), faz cada step manter (k - 1) / (k + 1) da distância em ambas as direções: 0.98 dela quando k = 100. Qualquer valor maior e a direção íngreme ultrapassa e se estabiliza mais devagar (acima de 2 / k ela cresce sem limite); qualquer valor menor e a direção suave rasteja ainda mais devagar. Então a caminhada faz zigue-zague pela travessia do vale enquanto rasteja ao longo dele.

Número de condição: a razão da curvatura mais íngreme para a mais suave, aqui k. O gradiente descendente simples precisa de aproximadamente k passos para progredir bem.

Chame a Curva: antes de rodar, preveja quantos steps são necessários para chegar a 0.001 do fundo para k = 1, 10 e 100, usando a melhor learning rate fixa, 2 / (k + 1).

Resumo Stretch reduz a descida simples na proporção do stretch.

Palavras e símbolos nesta lição
número de condição
o quanto mais íngreme a direção mais íngreme é do que a mais suave
Sua vez

Preencha my_guess (três contagens de passos), depois escreva steps_to_converge(k): comece em (1, 1), use lr = 2 / (k + 1), e conte os steps até que a distância para (0, 0) seja menor que 0.001 (pare em 100,000).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.