Conteúdo do curso Lição 159 de 246 · Módulo 14: Clínica de Execução II
Módulo 14: Clínica de Execução II

A receita, para modelos de sequência

Por que isso importa Os dois testes do Módulo 8 (perda no início, memorizar um lote) ainda se aplicam. Modelos de sequência adicionam novas formas de falhar silenciosamente, e dois testes baratos pegam os piores antes de você gastar qualquer processamento.

O modelo da clínica é um GPT minúsculo: largura 16, 2 blocos, 2 heads, 16 caracteres de contexto, 200 Adam steps no texto do curso. Ele treina em alguns segundos, então você pode se dar ao luxo de testar.

Verificação 1: a perda inicial

A um modelo novo com pesos pequenos espalha seus palpites uniformemente sobre os V caracteres, então sua perda é ln(V). Para 95 caracteres isso é 4.55. Muito acima significa que algo está escalonado errado; muito abaixo significa que o modelo está recebendo ajuda que não deveria ter.

Verificação 2: sem espiar

Mude o último caractere de uma entrada. Se qualquer previsão para uma posição anterior mudar, o modelo pode ver o futuro (Module 13), e cada número de treinamento que você obtém é bom demais para ser verdade.

ProbeO que isso te dizExecução saudável
loss_curve(c)Perda de treinamento a cada 25 passos, e a perda no texto não visto no final. Sempre olhe primeiro.4.55 para cerca de 2.9; não visto cerca de 3.0
loss_at_init(c)Loss antes do treinamento. Um modelo novo chutando igualmente sobre 95 caracteres dá ln(95).4.55
leak_check(c)Um caractere posterior pode mudar uma previsão anterior?False
show_batch(c)Um dado de entrada de treinamento e seu alvo, como texto.target = input movido uma posição para a esquerda
update_ratio(c)Depois do primeiro passo do Adam, o quanto os pesos se moveram em relação ao tamanho deles. Não é a regra do Módulo 8: esse intervalo de 0.001 a 0.1 é para passos de SGD puro. O primeiro passo do Adam move cada peso em cerca de uma taxa de aprendizado, independentemente do seu gradiente, e esses pesos começam perto de 0.02, então 0.01 / 0.02 dá cerca de 0.5. Compare um caso com essa execução saudável, não com o intervalo do Módulo 8.cerca de 0.5
block_change(c)Quanto o primeiro bloco altera cada vetor no início.cerca de 0.3
Palavras e símbolos nesta lição
ln(V)
a perda inicial de um modelo que chuta uniformemente sobre V símbolos: 4.55 para 95 caracteres
bom demais para ser verdade
perda de treinamento muito melhor que uma execução saudável, perda de texto não visto muito pior
mudar bloco
o quanto um bloco muda um vetor no início; perto de 1 significa que ele o substituiu
Sua vez

Escreva expected_start(V) e my_leak_check(c), usando o próprio _init, _logits e DATA da clínica. Eles devem concordar com as sondas da clínica.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.