Ablações: três mudanças, três seeds cada
Por que isso importa "Esta mudança ajudou" é a afirmação mais comum em qualquer relatório de projeto, e a que mais vezes é feita a partir de uma única execução. A regra do Módulo 22 decide isso aqui, nas suas execuções.
Escolha três mudanças na sua baseline, cada uma alterando exatamente uma configuração (width, lr, steps, batch ou weight_decay). Rode cada uma com as seeds 0, 1 e 2, e a baseline de novo com as mesmas seeds (no log desta lição, para que todos os números fiquem em um só lugar). Use evals=1: só a pontuação final é necessária.
Para cada mudança: diff = pontuação média da mudança menos pontuação média da baseline (maior é melhor), e se = judge.standard_error(baseline, change). Veredito: "better" se diff > 2 se, "worse" se diff < -2 se, caso contrário "not shown".
O total precisa caber no seu orçamento: uma mudança que custa mais (mais larga, mais passos) usa mais dele.
Palavras e símbolos nesta lição
- baseline
- a execução simples contra a qual cada mudança é medida, com as mesmas seeds
- ablation
- uma única mudança na baseline, rodada com várias seeds, para ver o que ela faz
Defina CHANGES (três, cada uma uma configuração). Preencha log com as 12 execuções e verdict[name] para cada mudança. Imprima as médias e 2 se.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.