A receita, para modelos de sequência
Por que isso importa Os dois testes do Módulo 8 (perda no início, memorizar um lote) ainda se aplicam. Modelos de sequência adicionam novas formas de falhar silenciosamente, e dois testes baratos pegam os piores antes de você gastar qualquer processamento.
O modelo da clínica é um GPT minúsculo: largura 16, 2 blocos, 2 heads, 16 caracteres de contexto, 200 Adam steps no texto do curso. Ele treina em alguns segundos, então você pode se dar ao luxo de testar.
Verificação 1: a perda inicial
A um modelo novo com pesos pequenos espalha seus palpites uniformemente sobre os V caracteres, então sua perda é ln(V). Para 95 caracteres isso é 4.55. Muito acima significa que algo está escalonado errado; muito abaixo significa que o modelo está recebendo ajuda que não deveria ter.
Verificação 2: sem espiar
Mude o último caractere de uma entrada. Se qualquer previsão para uma posição anterior mudar, o modelo pode ver o futuro (Module 13), e cada número de treinamento que você obtém é bom demais para ser verdade.
| Probe | O que isso te diz | Execução saudável |
|---|---|---|
loss_curve(c) | Perda de treinamento a cada 25 passos, e a perda no texto não visto no final. Sempre olhe primeiro. | 4.55 para cerca de 2.9; não visto cerca de 3.0 |
loss_at_init(c) | Loss antes do treinamento. Um modelo novo chutando igualmente sobre 95 caracteres dá ln(95). | 4.55 |
leak_check(c) | Um caractere posterior pode mudar uma previsão anterior? | False |
show_batch(c) | Um dado de entrada de treinamento e seu alvo, como texto. | target = input movido uma posição para a esquerda |
update_ratio(c) | Depois do primeiro passo do Adam, o quanto os pesos se moveram em relação ao tamanho deles. Não é a regra do Módulo 8: esse intervalo de 0.001 a 0.1 é para passos de SGD puro. O primeiro passo do Adam move cada peso em cerca de uma taxa de aprendizado, independentemente do seu gradiente, e esses pesos começam perto de 0.02, então 0.01 / 0.02 dá cerca de 0.5. Compare um caso com essa execução saudável, não com o intervalo do Módulo 8. | cerca de 0.5 |
block_change(c) | Quanto o primeiro bloco altera cada vetor no início. | cerca de 0.3 |
Palavras e símbolos nesta lição
- ln(V)
- a perda inicial de um modelo que chuta uniformemente sobre V símbolos: 4.55 para 95 caracteres
- bom demais para ser verdade
- perda de treinamento muito melhor que uma execução saudável, perda de texto não visto muito pior
- mudar bloco
- o quanto um bloco muda um vetor no início; perto de 1 significa que ele o substituiu
Escreva expected_start(V) e my_leak_check(c), usando o próprio _init, _logits e DATA da clínica. Eles devem concordar com as sondas da clínica.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.