Conteúdo do curso Lição 161 de 246 · Módulo 14: Clínica de Execução II
Módulo 14: Clínica de Execução II

Clínica: tamanho do passo e pesos iniciais

Por que isso importa Os erros de learning-rate e scale do Módulo 8 retornam, com as digitais do Adam neles.

Com o Adam, cada peso se move em cerca de uma taxa de aprendizado no primeiro passo, independentemente do seu gradiente. Assim, a proporção de atualização é uma leitura direta do tamanho do passo: cerca de 0.5 na execução saudável (0.01 contra pesos perto de 0.02), cerca de 15 quando a taxa é alta demais (a perda então oscila), e cerca de 0.0005 quando é baixa demais (a perda mal sai de 4.55). Pesos iniciais que são grandes demais tornam as primeiras previsões excessivamente confiantes e erradas: a perda inicial está muito acima de 4.55.

Cada caso abaixo é uma execução de treinamento com uma falha plantada nele. Para cada um: gaste sondas para encontrar a falha, depois escreva uma correção como mudanças de config que coloquem a execução de volta ao estado saudável. As falhas nesta lição: lr_too_high, lr_too_low, init_too_big. Um bom diagnosticador raramente precisa de mais de duas sondas por caso.

ProbeO que isso te dizExecução saudável
loss_curve(c)Perda de treinamento a cada 25 passos, e a perda no texto não visto no final. Sempre olhe primeiro.4.55 para cerca de 2.9; não visto cerca de 3.0
loss_at_init(c)Loss antes do treinamento. Um modelo novo chutando igualmente sobre 95 caracteres dá ln(95).4.55
leak_check(c)Um caractere posterior pode mudar uma previsão anterior?False
show_batch(c)Um dado de entrada de treinamento e seu alvo, como texto.target = input movido uma posição para a esquerda
update_ratio(c)Depois do primeiro passo do Adam, o quanto os pesos se moveram em relação ao tamanho deles. Não é a regra do Módulo 8: esse intervalo de 0.001 a 0.1 é para passos de SGD puro. O primeiro passo do Adam move cada peso em cerca de uma taxa de aprendizado, independentemente do seu gradiente, e esses pesos começam perto de 0.02, então 0.01 / 0.02 dá cerca de 0.5. Compare um caso com essa execução saudável, não com o intervalo do Módulo 8.cerca de 0.5
block_change(c)Quanto o primeiro bloco altera cada vetor no início.cerca de 0.3
Palavras e símbolos nesta lição
ln(V)
a perda inicial de um modelo que chuta uniformemente sobre V símbolos: 4.55 para 95 caracteres
mudar bloco
o quanto um bloco muda um vetor no início; perto de 1 significa que ele o substituiu
Sua vez

Preencha diagnosis (case para o nome da falha) e fixes (case para um dicionário de mudanças de configuração) para os casos A, B e C. Após o seu ajuste, cada configuração deve corresponder à execução saudável.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.