Conteúdo do curso Lição 165 de 246 · Módulo 14: Clínica de Execução II
Módulo 14: Clínica de Execução II

Portão: três execuções quebradas invisíveis (IA desligada)

Por que isso importa Diagnosticar sozinho, com um orçamento, é a habilidade que este curso tem construído desde o Módulo 8.

IA desligada. Três execuções, cada uma com um erro dos casos de treinamento deste módulo. São execuções novas, não os casos de prática: outra seed e erros de outros tamanhos, então números memorizados não vão bater. Seu Orçamento é 9 sondas no total (treinar um caso selado conta como uma), contadas em cada execução desde que a página abriu (repetir uma sonda no mesmo caso é grátis; um diagnóstico errado ou um fix que não funciona custa uma sonda).

Cada caso abaixo é uma execução de treinamento com uma falha plantada nela. Para cada um: gaste sondas para encontrar a falha, depois escreva uma correção como mudanças de config que coloquem a execução de volta ao estado saudável. As falhas nesta lição: any training fault from this module. Um bom diagnosticador raramente precisa de mais de duas sondas por caso.

ProbeO que isso te dizExecução saudável
loss_curve(c)Perda de treinamento a cada 25 passos, e a perda no texto não visto no final. Sempre olhe primeiro.4.55 para cerca de 2.9; não visto cerca de 3.0
loss_at_init(c)Loss antes do treinamento. Um modelo novo chutando igualmente sobre 95 caracteres dá ln(95).4.55
leak_check(c)Um caractere posterior pode mudar uma previsão anterior?False
show_batch(c)Um dado de entrada de treinamento e seu alvo, como texto.target = input movido uma posição para a esquerda
update_ratio(c)Depois do primeiro passo do Adam, o quanto os pesos se moveram em relação ao tamanho deles. Não é a regra do Módulo 8: esse intervalo de 0.001 a 0.1 é para passos de SGD puro. O primeiro passo do Adam move cada peso em cerca de uma taxa de aprendizado independentemente do seu gradiente, e esses pesos começam perto de 0.02, então 0.01 / 0.02 dá cerca de 0.5. Compare um caso com essa execução saudável, não com o intervalo do Módulo 8.cerca de 0.5
block_change(c)Quanto o primeiro bloco altera cada vetor no início.cerca de 0.3
Palavras e símbolos nesta lição
ln(V)
a perda inicial de um modelo que chuta uniformemente sobre V símbolos: 4.55 para 95 caracteres
mudar bloco
o quanto um bloco muda um vetor no início; perto de 1 significa que ele o substituiu
Sua vez

Preencha diagnosis (case para o nome da falha) e fixes (case para um dicionário de mudanças de configuração) para os casos A, B e C. Após o seu ajuste, cada configuração deve corresponder à execução saudável.

IA desligada: sem tutor, dicas ou solução resolvida nesta. Apenas seu próprio pensamento.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.