Conteúdo do curso Lição 98 de 246 · Módulo 8: Clínica de Execução I
Módulo 8: Clínica de Execução I

Clínica: falhas de perda e de saída

Por que isso importa Essas falhas deixam o treinamento rodar e a perda cair, então elas sobrevivem por muito tempo em código real.

Softmax aplicado duas vezes: a loss vê probabilidades como se fossem scores, os gradients diminuem, o modelo não consegue nem memorizar um batch, e a loss cai lentamente. Alvos deslocados: cada label está errado por um, então o modelo aprende perfeitamente, apenas as respostas erradas: training loss baixo, validation accuracy perto de zero.

Cada caso abaixo é uma execução de treinamento com uma falha plantada nele. Para cada um: gaste sondas para encontrar a falha, depois escreva uma correção como mudanças de config. As falhas nesta lição: softmax_twice, shifted_targets, plus one fault from earlier. Menos sondas é melhor; um bom diagnosticador raramente precisa de mais de duas por caso.

ProbeO que isso te diz
loss_curve(c)Perda de treinamento a cada 50 passos e acurácia final de validação. Sempre olhe primeiro.
loss_at_init(c)Loss antes do treinamento. Um modelo novo de 10 classes deve estar perto de ln(10) = 2.30.
overfit_one_batch(c)Ele consegue memorizar 32 exemplos? Uma configuração saudável chega perto de 0.
grad_norms(c)Tamanho do Gradient por matriz de peso no início. Zero significa que nada pode aprender.
update_ratio(c)Tamanho do passo do SGD simples em relação ao tamanho do peso. O saudável é cerca de 0.001 a 0.1 (uma regra prática para SGD simples; o Módulo 14 mostra por que o Adam difere).
act_stats(c)Ativações ocultas: média, maior valor, parcela de unidades mortas.
lr_schedule(c)A learning rate nos steps 0, 50, 100 e assim por diante.
batch_labels(c)Os rótulos nos primeiros lotes.
overlap(c)Quantos exemplos de validação também aparecem no treinamento.
Palavras e símbolos nesta lição
probe
uma medição rápida de uma execução, como tamanhos de gradiente ou unidades mortas
Sua vez

Preencha diagnosis (caso para nome da falha) e fixes (caso para um dicionário de mudanças de configuração) para os casos A, B e C. Um fix deve remover a falha e treinar para pelo menos 90% de acurácia de validação.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.