Conteúdo do curso Lição 101 de 246 · Módulo 8: Clínica de Execução I
Módulo 8: Clínica de Execução I

Portão: três execuções quebradas invisíveis (IA desligada)

Por que isso importa Diagnosticar sozinho, com um orçamento, é a habilidade para a qual este módulo serve.

IA desligada. Três execuções, cada uma com um erro de qualquer lugar deste módulo. Elas são execuções novas, não os casos de prática: outras seeds, outro batch size e erros de outros tamanhos, então os números que você lembra da prática não vão bater. Seu Orçamento é de 9 probes no total (treinar um caso selado conta como um), contados em cada execução desde que a página abriu (repetir um probe no mesmo caso é grátis; um diagnóstico errado ou um fix que não funciona custa um probe).

Cada caso abaixo é uma execução de treinamento com uma falha plantada nele. Para cada um: gaste sondas para encontrar a falha, depois escreva uma correção como mudanças de config. As falhas nesta lição: any fault from this module. Menos sondas é melhor; um bom diagnosticador raramente precisa de mais de duas por caso.

ProbeO que isso te diz
loss_curve(c)Perda de treinamento a cada 50 passos e acurácia final de validação. Sempre olhe primeiro.
loss_at_init(c)Loss antes do treinamento. Um modelo novo de 10 classes deve estar perto de ln(10) = 2.30.
overfit_one_batch(c)Ele consegue memorizar 32 exemplos? Uma configuração saudável chega perto de 0.
grad_norms(c)Tamanho do Gradient por matriz de peso no início. Zero significa que nada pode aprender.
update_ratio(c)Tamanho do passo do SGD simples em relação ao tamanho do peso. O saudável é cerca de 0.001 a 0.1 (uma regra prática para o SGD simples; o Módulo 14 mostra por que o Adam difere).
act_stats(c)Ativações ocultas: média, maior valor, parcela de unidades mortas.
lr_schedule(c)A learning rate nos steps 0, 50, 100 e assim por diante.
batch_labels(c)Os rótulos nos primeiros lotes.
overlap(c)Quantos exemplos de validação também aparecem no treinamento.
Palavras e símbolos nesta lição
probe
uma medição rápida de uma execução, como tamanhos de gradiente ou unidades mortas
Sua vez

Preencha diagnosis (case para o nome da falha) e fixes (case para um dicionário de mudanças de config) para os casos A, B e C. Um fix deve remover a falha e treinar para pelo menos 90% de acurácia de validação.

IA desligada: sem tutor, dicas ou solução resolvida nesta. Apenas seu próprio pensamento.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.