Conteúdo do curso Lição 238 de 246 · Módulo 23: Estúdio de conclusão: um card de modelo que você pode rodar
Módulo 23: Estúdio de conclusão: um card de modelo que você pode rodar

Ablações: três mudanças, três seeds cada

Por que isso importa "Esta mudança ajudou" é a afirmação mais comum em qualquer relatório de projeto, e a que mais vezes é feita a partir de uma única execução. A regra do Módulo 22 decide isso aqui, nas suas execuções.

Escolha três mudanças na sua baseline, cada uma alterando exatamente uma configuração (width, lr, steps, batch ou weight_decay). Rode cada uma com as seeds 0, 1 e 2, e a baseline de novo com as mesmas seeds (no log desta lição, para que todos os números fiquem em um só lugar). Use evals=1: só a pontuação final é necessária.

Para cada mudança: diff = pontuação média da mudança menos pontuação média da baseline (maior é melhor), e se = judge.standard_error(baseline, change). Veredito: "better" se diff > 2 se, "worse" se diff < -2 se, caso contrário "not shown".

O total precisa caber no seu orçamento: uma mudança que custa mais (mais larga, mais passos) usa mais dele.

Palavras e símbolos nesta lição
baseline
a execução simples contra a qual cada mudança é medida, com as mesmas seeds
ablation
uma única mudança na baseline, rodada com várias seeds, para ver o que ela faz
Sua vez

Defina CHANGES (três, cada uma uma configuração). Preencha log com as 12 execuções e verdict[name] para cada mudança. Imprima as médias e 2 se.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.