A receita: duas verificações antes de qualquer outra coisa
Por que isso importa A maioria das execuções quebradas pode ser detectada em um minuto por dois testes baratos, antes de você gastar uma hora treinando.
Praticantes experientes começam toda nova configuração da mesma forma:
- Verifique a perda no início. Antes do treinamento, um modelo de 10 classes que não sabe nada dá cerca de 0.1 para cada classe, então sua perda deve ser cerca de -ln(0.1) = 2.30. Muito acima disso significa que algo está escalonado errado. Muito abaixo significa que a resposta está chegando ao modelo através de suas entradas. Nem todo vazamento aparece aqui: quando imagens de validação também estão no conjunto de treinamento, a perda inicial é normal (a execução saudável desta clínica e seu caso de vazamento começam em 2.46), e apenas uma pontuação de validação boa demais entrega o erro.
- Overfit um lote. Treine em um único lote pequeno por algumas centenas de steps. Qualquer modelo e training loop que funcione pode memorizar 32 exemplos e levar o loss perto de zero. Se não conseguir, o bug está no modelo, no loss ou nos gradients, e você o encontrou sem tocar nos dados completos.
- Só então, escale para a execução completa.
Esta clínica é um pequeno classificador de dígitos que você pode quebrar de propósito. config(**changes) cria uma configuração; train(c) executa ela.
| Probe | O que isso te diz |
|---|---|
loss_curve(c) | Perda de treinamento a cada 50 passos e acurácia final de validação. Sempre olhe primeiro. |
loss_at_init(c) | Loss antes do treinamento. Um modelo novo de 10 classes deve estar perto de ln(10) = 2.30. |
overfit_one_batch(c) | Ele consegue memorizar 32 exemplos? Uma configuração saudável chega perto de 0. |
grad_norms(c) | Tamanho do Gradient por matriz de peso no início. Zero significa que nada pode aprender. |
update_ratio(c) | Tamanho do passo do SGD simples em relação ao tamanho do peso. O saudável é cerca de 0.001 a 0.1 (uma regra prática para SGD simples; o Módulo 14 mostra por que o Adam difere). |
act_stats(c) | Ativações ocultas: média, maior valor, parcela de unidades mortas. |
lr_schedule(c) | A learning rate nos steps 0, 50, 100 e assim por diante. |
batch_labels(c) | Os rótulos nos primeiros lotes. |
overlap(c) | Quantos exemplos de validação também aparecem no treinamento. |
Palavras e símbolos nesta lição
- probe
- uma medição rápida de uma execução, como tamanhos de gradiente ou unidades mortas
- overfit um lote
- verificar uma configuração pode memorizar alguns exemplos
Escreva sanity(c) retornando um dictionary com init_ok (loss no início dentro de 0.3 de 2.30) e can_overfit (overfit-one-batch loss abaixo de 0.1), usando as probes. Aplique ao setup saudável e a suspect.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.