Conteúdo do curso Lição 94 de 246 · Módulo 8: Clínica de Execução I
Módulo 8: Clínica de Execução I

A receita: duas verificações antes de qualquer outra coisa

Por que isso importa A maioria das execuções quebradas pode ser detectada em um minuto por dois testes baratos, antes de você gastar uma hora treinando.

Praticantes experientes começam toda nova configuração da mesma forma:

  1. Verifique a perda no início. Antes do treinamento, um modelo de 10 classes que não sabe nada dá cerca de 0.1 para cada classe, então sua perda deve ser cerca de -ln(0.1) = 2.30. Muito acima disso significa que algo está escalonado errado. Muito abaixo significa que a resposta está chegando ao modelo através de suas entradas. Nem todo vazamento aparece aqui: quando imagens de validação também estão no conjunto de treinamento, a perda inicial é normal (a execução saudável desta clínica e seu caso de vazamento começam em 2.46), e apenas uma pontuação de validação boa demais entrega o erro.
  2. Overfit um lote. Treine em um único lote pequeno por algumas centenas de steps. Qualquer modelo e training loop que funcione pode memorizar 32 exemplos e levar o loss perto de zero. Se não conseguir, o bug está no modelo, no loss ou nos gradients, e você o encontrou sem tocar nos dados completos.
  3. Só então, escale para a execução completa.

Esta clínica é um pequeno classificador de dígitos que você pode quebrar de propósito. config(**changes) cria uma configuração; train(c) executa ela.

ProbeO que isso te diz
loss_curve(c)Perda de treinamento a cada 50 passos e acurácia final de validação. Sempre olhe primeiro.
loss_at_init(c)Loss antes do treinamento. Um modelo novo de 10 classes deve estar perto de ln(10) = 2.30.
overfit_one_batch(c)Ele consegue memorizar 32 exemplos? Uma configuração saudável chega perto de 0.
grad_norms(c)Tamanho do Gradient por matriz de peso no início. Zero significa que nada pode aprender.
update_ratio(c)Tamanho do passo do SGD simples em relação ao tamanho do peso. O saudável é cerca de 0.001 a 0.1 (uma regra prática para SGD simples; o Módulo 14 mostra por que o Adam difere).
act_stats(c)Ativações ocultas: média, maior valor, parcela de unidades mortas.
lr_schedule(c)A learning rate nos steps 0, 50, 100 e assim por diante.
batch_labels(c)Os rótulos nos primeiros lotes.
overlap(c)Quantos exemplos de validação também aparecem no treinamento.
Palavras e símbolos nesta lição
probe
uma medição rápida de uma execução, como tamanhos de gradiente ou unidades mortas
overfit um lote
verificar uma configuração pode memorizar alguns exemplos
Sua vez

Escreva sanity(c) retornando um dictionary com init_ok (loss no início dentro de 0.3 de 2.30) e can_overfit (overfit-one-batch loss abaixo de 0.1), usando as probes. Aplique ao setup saudável e a suspect.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.