Conteúdo do curso Lição 64 de 246 · Módulo 5: Otimização
Módulo 5: Otimização

Superfícies de perda que você pode percorrer

Por que isso importa Todo otimizador é uma forma diferente de descer uma ladeira em uma paisagem que você não pode ver. Caminhe em uma simples primeiro.

Imagine a perda como uma paisagem: dois pesos são sua posição em um mapa, e a perda é a altura. Treinar é caminhar morro abaixo. O gradiente aponta para cima, então cada passo vai na direção oposta: position = position - lr * gradient.

Números pequenos

Na tigela f(x, y) = x squared + y squared, o gradiente em (3, 4) é (6, 8). Com lr 0.1 o step vai para (3 - 0.6, 4 - 0.8) = (2.4, 3.2). Cada step mantém 80% da distância até o fundo, então após 20 steps você está em cerca de 1% de onde começou.

Taxa de aprendizado: quão longe avançar em relação ao gradiente. Muito pequena rasteja; muito grande ultrapassa.

Resumo Passo contra o gradiente; a learning rate define o passo.

Sua vez

Escreva descend(grad, start, lr, steps) que retorna a lista de posições visitadas (incluindo o início) como arrays NumPy. Depois escolha my_lr para que, na tigela da lição, começando em (3, 4), você esteja a 0.01 do fundo em no máximo 15 passos.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.