Portão: três execuções quebradas invisíveis (IA desligada)
Por que isso importa Diagnosticar sozinho, com um orçamento, é a habilidade para a qual este módulo serve.
IA desligada. Três execuções, cada uma com um erro de qualquer lugar deste módulo. Elas são execuções novas, não os casos de prática: outras seeds, outro batch size e erros de outros tamanhos, então os números que você lembra da prática não vão bater. Seu Orçamento é de 9 probes no total (treinar um caso selado conta como um), contados em cada execução desde que a página abriu (repetir um probe no mesmo caso é grátis; um diagnóstico errado ou um fix que não funciona custa um probe).
Cada caso abaixo é uma execução de treinamento com uma falha plantada nele. Para cada um: gaste sondas para encontrar a falha, depois escreva uma correção como mudanças de config. As falhas nesta lição: any fault from this module. Menos sondas é melhor; um bom diagnosticador raramente precisa de mais de duas por caso.
| Probe | O que isso te diz |
|---|---|
loss_curve(c) | Perda de treinamento a cada 50 passos e acurácia final de validação. Sempre olhe primeiro. |
loss_at_init(c) | Loss antes do treinamento. Um modelo novo de 10 classes deve estar perto de ln(10) = 2.30. |
overfit_one_batch(c) | Ele consegue memorizar 32 exemplos? Uma configuração saudável chega perto de 0. |
grad_norms(c) | Tamanho do Gradient por matriz de peso no início. Zero significa que nada pode aprender. |
update_ratio(c) | Tamanho do passo do SGD simples em relação ao tamanho do peso. O saudável é cerca de 0.001 a 0.1 (uma regra prática para o SGD simples; o Módulo 14 mostra por que o Adam difere). |
act_stats(c) | Ativações ocultas: média, maior valor, parcela de unidades mortas. |
lr_schedule(c) | A learning rate nos steps 0, 50, 100 e assim por diante. |
batch_labels(c) | Os rótulos nos primeiros lotes. |
overlap(c) | Quantos exemplos de validação também aparecem no treinamento. |
Palavras e símbolos nesta lição
- probe
- uma medição rápida de uma execução, como tamanhos de gradiente ou unidades mortas
Preencha diagnosis (case para o nome da falha) e fixes (case para um dicionário de mudanças de config) para os casos A, B e C. Um fix deve remover a falha e treinar para pelo menos 90% de acurácia de validação.
IA desligada: sem tutor, dicas ou solução resolvida nesta. Apenas seu próprio pensamento.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.