Confiar no ajudante?
Por que isso importa Assistentes de IA ficarão felizes em diagnosticar suas execuções de treinamento. Eles costumam estar certos e às vezes estão errados com confiança. A habilidade é saber qual deles, usando evidências em vez de tom.
Um ajudante de IA olhou para dez execuções quebradas e nomeou uma falha para cada uma. Cerca de um terço das respostas dele estão erradas, e elas soam tão confiantes quanto as corretas. Para cada caso, decida: aceitar ou rejeitar. Baseie cada decisão em uma sonda, não em quão plausível a afirmação parece.
Sua pontuação é a acurácia do veredito: com que frequência seu aceitar ou rejeitar coincidiu com a verdade. (Isso não é calibração, que o Módulo 9 define: se a confiança coincide com a frequência com que você está certo.) Cuidado com afirmações que se encaixam em alguns sintomas, mas não no decisivo: uma perda travada pode ser uma learning rate que está muito baixa, ou uma que estava boa e depois caiu.
| Probe | O que isso te diz |
|---|---|
loss_curve(c) | Perda de treinamento a cada 50 passos e acurácia final de validação. Sempre olhe primeiro. |
loss_at_init(c) | Loss antes do treinamento. Um modelo novo de 10 classes deve estar perto de ln(10) = 2.30. |
overfit_one_batch(c) | Ele consegue memorizar 32 exemplos? Uma configuração saudável chega perto de 0. |
grad_norms(c) | Tamanho do Gradient por matriz de peso no início. Zero significa que nada pode aprender. |
update_ratio(c) | Tamanho do passo do SGD simples em relação ao tamanho do peso. O saudável é cerca de 0.001 a 0.1 (uma regra prática para SGD simples; o Módulo 14 mostra por que o Adam difere). |
act_stats(c) | Ativações ocultas: média, maior valor, parcela de unidades mortas. |
lr_schedule(c) | A learning rate nos steps 0, 50, 100 e assim por diante. |
batch_labels(c) | Os rótulos nos primeiros lotes. |
overlap(c) | Quantos exemplos de validação também aparecem no treinamento. |
Palavras e símbolos nesta lição
- probe
- uma medição rápida de uma execução, como tamanhos de gradiente ou unidades mortas
- verdict acurácia
- com que frequência sua aceitação ou rejeição de uma afirmação coincidiu com a verdade
Para cada caso de A a J, defina verdicts[case] como True (o ajudante está certo) ou False. Você precisa de pelo menos 9 de 10 certos.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.