Conteúdo do curso Lição 164 de 246 · Módulo 14: Clínica de Execução II
Módulo 14: Clínica de Execução II

Confiar no ajudante? Edição de sequência

Por que isso importa Mesma habilidade do Módulo 8, falhas mais difíceis: várias dessas parecem iguais apenas pela curva de perda, então um auxiliar que só lê curvas erra com total confiança.

Um ajudante de IA nomeou uma falha para cada uma das oito execuções quebradas. Algumas afirmações estão erradas. Fique atento a pares que compartilham um sintoma: duas falhas podem fazer a training loss ficar suspeitosamente baixa, e duas podem fazer ela travar.

ProbeO que isso te dizExecução saudável
loss_curve(c)Perda de treinamento a cada 25 passos, e a perda no texto não visto no final. Sempre olhe primeiro.4.55 caiu para cerca de 2.9; não visto cerca de 3.0
loss_at_init(c)Loss antes do treinamento. Um modelo novo chutando igualmente sobre 95 caracteres dá ln(95).4.55
leak_check(c)Um caractere posterior pode mudar uma previsão anterior?False
show_batch(c)Um dado de entrada de treinamento e seu alvo, como texto.target = input movido uma posição para a esquerda
update_ratio(c)Depois do primeiro passo do Adam, o quanto os pesos se moveram em relação ao tamanho deles. Não é a regra do Módulo 8: esse intervalo de 0.001 a 0.1 é para passos de SGD simples. O primeiro passo do Adam move cada peso em cerca de 0.01 independentemente do seu gradiente, e esses pesos começam perto de 0.02, então 0.01 / 0.02 dá cerca de 0.5. Compare um caso com essa execução saudável, não com o intervalo do Módulo 8.cerca de 0.5
block_change(c)Quanto o primeiro bloco altera cada vetor no início.cerca de 0.3
Palavras e símbolos nesta lição
ln(V)
a perda inicial de um modelo que chuta uniformemente sobre V símbolos: 4.55 para 95 caracteres
mudar bloco
o quanto um bloco muda um vetor no início; perto de 1 significa que ele o substituiu
Sua vez

Para cada caso de A a H, defina verdicts[case] como True (o ajudante está certo) ou False. Você precisa de pelo menos 7 de 8 certos.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.