Um botão de volume por peso (RMSProp)
Por que isso importa Momentum suaviza a direção. RMSProp corrige o outro problema: alguns pesos recebem gradientes enormes e outros minúsculos, então uma única learning rate não serve para todos.
RMSProp mantém, para cada peso, uma média móvel do seu gradiente ao quadrado: o quão alto o gradiente desse peso costuma ser. Depois, ele divide cada step pela raiz quadrada disso, como se estivesse abaixando o volume em pesos altos e aumentando em pesos silenciosos.
s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)
Na tigela esticada, a direção íngreme tem gradientes altos e é abaixada, a direção suave é elevada, e a tigela se comporta quase como se fosse redonda. Isso funciona aqui porque as direções íngreme e suave da tigela se alinham com os dois pesos. Incline o vale em 45 graus, para que cada peso veja uma mistura de ambas as direções, e um botão de volume por peso não pode separá-los: RMSProp e Adam então ajudam muito menos. Eles redimensionam por quão alto é o gradiente de cada peso, não pelo formato real do vale.
eps: um número minúsculo como 1e-8 que interrompe a divisão por zero.
Palavras e símbolos nesta lição
- momentum (beta)
- mantendo parte da velocidade do último passo
- RMSProp
- dividindo o step de cada peso por o quão alto seu gradiente geralmente é
- Adam (m, v, t)
- momentum (m) mais um botão de volume por peso (v), corrigido para os primeiros passos (t)
Escreva rmsprop(grad, start, lr, rho, steps, eps=1e-8) retornando a posição final. O teste oculto compara sua posição com a referência após alguns passos.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.