Conteúdo do curso Lição 96 de 246 · Módulo 8: Clínica de Execução I
Módulo 8: Clínica de Execução I

Clínica: falhas de learning-rate

Por que isso importa A learning rate é a causa mais comum de uma execução ruim. Cada tipo de erro deixa uma marca diferente.

Muito alto: steps ultrapassam, a loss pula ou sobe, e a proporção de atualização para peso está perto ou acima de 1. Muito baixo: quase nada se move, a loss fica perto de 2.30 e a proporção é minúscula. Abandonado cedo demais: a execução aprende por um tempo, depois para de melhorar: a partir daí a loss apenas oscila de batch em batch em torno de um nível medíocre (aqui entre cerca de 1.1 e 1.5); o schedule mostra a taxa colapsando.

Cada caso abaixo é uma execução de treinamento com uma falha plantada nele. Para cada um: gaste sondas para encontrar a falha, depois escreva uma correção como mudanças de config. As falhas nesta lição: lr_too_high, lr_too_low, lr_dropped_early. Menos sondas é melhor; um bom diagnosticador raramente precisa de mais de duas por caso.

ProbeO que isso te diz
loss_curve(c)Perda de treinamento a cada 50 passos e acurácia final de validação. Sempre olhe primeiro.
loss_at_init(c)Loss antes do treinamento. Um modelo novo de 10 classes deve estar perto de ln(10) = 2.30.
overfit_one_batch(c)Ele consegue memorizar 32 exemplos? Uma configuração saudável chega perto de 0.
grad_norms(c)Tamanho do Gradient por matriz de peso no início. Zero significa que nada pode aprender.
update_ratio(c)Tamanho do passo do SGD simples em relação ao tamanho do peso. O saudável é cerca de 0.001 a 0.1 (uma regra prática para SGD simples; o Módulo 14 mostra por que o Adam difere).
act_stats(c)Ativações ocultas: média, maior valor, parcela de unidades mortas.
lr_schedule(c)A learning rate nos steps 0, 50, 100 e assim por diante.
batch_labels(c)Os rótulos nos primeiros lotes.
overlap(c)Quantos exemplos de validação também aparecem no treinamento.
Palavras e símbolos nesta lição
probe
uma medição rápida de uma execução, como tamanhos de gradiente ou unidades mortas
razão de atualização para peso
quanto um passo muda cada peso, em relação ao seu tamanho
Sua vez

Preencha diagnosis (case para o nome da falha) e fixes (case para um dicionário de mudanças de configuração) para os casos A, B e C. Um fix deve remover a falha e treinar para pelo menos 90% de acurácia de validação.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.