Conteúdo do curso Lição 99 de 246 · Módulo 8: Clínica de Execução I
Módulo 8: Clínica de Execução I

Clínica: iniciar e escalar falhas

Por que isso importa Falhas do Módulo 6 na prática: elas param de aprender antes de começar.

Unidades mortas: cada unidade oculta está desligada para cada entrada, então nenhum gradiente chega à primeira camada e a perda nunca sai de 2.30. Entradas não escalonadas: pixels chegam como 0 a 16 em vez de 0 a 1, as ativações são enormes, a perda inicial está muito acima de 2.30, e os primeiros passos são violentos. (A armadilha de BatchNorm train/eval do Módulo 6 também pertence aqui; você já a encontrou.)

Cada caso abaixo é uma execução de treinamento com uma falha plantada nele. Para cada um: gaste sondas para encontrar a falha, depois escreva uma correção como mudanças de config. As falhas nesta lição: dead_units, unscaled_inputs, plus one fault from earlier. Menos sondas é melhor; um bom diagnosticador raramente precisa de mais de duas por caso.

ProbeO que isso te diz
loss_curve(c)Perda de treinamento a cada 50 passos e acurácia final de validação. Sempre olhe primeiro.
loss_at_init(c)Loss antes do treinamento. Um modelo novo de 10 classes deve estar perto de ln(10) = 2.30.
overfit_one_batch(c)Ele consegue memorizar 32 exemplos? Uma configuração saudável chega perto de 0.
grad_norms(c)Tamanho do Gradient por matriz de peso no início. Zero significa que nada pode aprender.
update_ratio(c)Tamanho do passo do SGD simples em relação ao tamanho do peso. O saudável é cerca de 0.001 a 0.1 (uma regra prática para SGD simples; o Módulo 14 mostra por que o Adam difere).
act_stats(c)Ativações ocultas: média, maior valor, parcela de unidades mortas.
lr_schedule(c)A learning rate nos steps 0, 50, 100 e assim por diante.
batch_labels(c)Os rótulos nos primeiros lotes.
overlap(c)Quantos exemplos de validação também aparecem no treinamento.
Palavras e símbolos nesta lição
probe
uma medição rápida de uma execução, como tamanhos de gradiente ou unidades mortas
Sua vez

Preencha diagnosis (caso para nome da falha) e fixes (caso para um dicionário de mudanças de configuração) para os casos A, B e C. Um fix deve remover a falha e treinar para pelo menos 90% de acurácia de validação.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.