Superfícies de perda que você pode percorrer
Por que isso importa Todo otimizador é uma forma diferente de descer uma ladeira em uma paisagem que você não pode ver. Caminhe em uma simples primeiro.
Imagine a perda como uma paisagem: dois pesos são sua posição em um mapa, e a perda é a altura. Treinar é caminhar morro abaixo. O gradiente aponta para cima, então cada passo vai na direção oposta: position = position - lr * gradient.
Números pequenos
Na tigela f(x, y) = x squared + y squared, o gradiente em (3, 4) é (6, 8). Com lr 0.1 o step vai para (3 - 0.6, 4 - 0.8) = (2.4, 3.2). Cada step mantém 80% da distância até o fundo, então após 20 steps você está em cerca de 1% de onde começou.
Taxa de aprendizado: quão longe avançar em relação ao gradiente. Muito pequena rasteja; muito grande ultrapassa.
Resumo Passo contra o gradiente; a learning rate define o passo.
Escreva descend(grad, start, lr, steps) que retorna a lista de posições visitadas (incluindo o início) como arrays NumPy. Depois escolha my_lr para que, na tigela da lição, começando em (3, 4), você esteja a 0.01 do fundo em no máximo 15 passos.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.