Clínica: bom demais, ou travado demais
Por que isso importa As execuções mais perigosas são aquelas que parecem ótimas. Um modelo que consegue ver suas respostas relata uma perda de treinamento maravilhosa e é inútil.
Sem máscara: o modelo pode espiar o próximo caractere, então sua perda de treinamento cai mais do que a de uma execução saudável, enquanto sua perda em texto não visto (medida honestamente, apenas a partir de caracteres anteriores) é muito pior. Alvos não deslocados: o alvo é a própria entrada, então o modelo aprende a copiar o caractere que está olhando. A perda de treinamento vai para quase 0, e em texto não visto ela é terrível. Sem residual: cada bloco substitui h em vez de somar a ele, então a pilha é difícil de treinar e a perda estagna cedo.
Cada caso abaixo é uma execução de treinamento com uma falha plantada nela. Para cada um: gaste sondas para encontrar a falha, depois escreva uma correção como mudanças de config que coloquem a execução de volta ao estado saudável. As falhas nesta lição: no_mask, targets_not_shifted, no_residual. Um bom diagnosticador raramente precisa de mais de duas sondas por caso.
| Probe | O que isso te diz | Execução saudável |
|---|---|---|
loss_curve(c) | Perda de treinamento a cada 25 passos, e a perda no texto não visto no final. Sempre olhe primeiro. | 4.55 caiu para cerca de 2.9; não visto cerca de 3.0 |
loss_at_init(c) | Loss antes do treinamento. Um modelo novo chutando igualmente sobre 95 caracteres dá ln(95). | 4.55 |
leak_check(c) | Um caractere posterior pode mudar uma previsão anterior? | False |
show_batch(c) | Um dado de entrada de treinamento e seu alvo, como texto. | target = input movido uma posição para a esquerda |
update_ratio(c) | Depois do primeiro passo do Adam, o quanto os pesos se moveram em relação ao tamanho deles. Não é a regra do Módulo 8: esse intervalo de 0.001 a 0.1 é para passos de SGD puro. O primeiro passo do Adam move cada peso em cerca de uma taxa de aprendizado independentemente do seu gradiente, e esses pesos começam perto de 0.02, então 0.01 / 0.02 dá cerca de 0.5. Compare um caso com essa execução saudável, não com o intervalo do Módulo 8. | cerca de 0.5 |
block_change(c) | Quanto o primeiro bloco altera cada vetor no início. | cerca de 0.3 |
Palavras e símbolos nesta lição
- ln(V)
- a perda inicial de um modelo que chuta uniformemente sobre V símbolos: 4.55 para 95 caracteres
- mudar bloco
- o quanto um bloco muda um vetor no início; perto de 1 significa que ele o substituiu
Preencha diagnosis (case para o nome da falha) e fixes (case para um dicionário de mudanças de configuração) para os casos A, B e C. Após o seu ajuste, cada configuração deve corresponder à execução saudável.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.