Uma regra por trás de cada verificação de "é real
Por que isso importa Este curso julgou diferenças de pelo menos quatro formas: um intervalo pareado (Module 9), "0.1 mais alto e mais alto em cada seed" (Modules 16 e 17) e 2 erros padrão (este módulo). Todos são a mesma ideia, e saber isso permite que você escolha o correto e saiba quando um é generoso demais.
Cada regra compara uma difference com seu noise. Duas escolhas mudam a resposta:
- Pareado ou não. Quando ambos os modelos são avaliados nos mesmos itens (imagens de teste do Módulo 9), subtraia item por item primeiro: o quão difícil cada item é se anula, o ruído diminui e pequenas diferenças reais aparecem. Para dois classificadores nos mesmos itens, a contagem mais limpa é apenas os itens onde eles discordam (teste de McNemar). Sementes de execuções separadas não são pareadas: compare os dois grupos como um todo.
- O quão rigoroso é o corte. 2 erros padrão assume que você conhece o ruído. Com 3 seeds por lado você o estimou a partir de 3 números cada, e essa estimativa pode facilmente ser pequena demais. Student's t leva isso em conta: o corte se torna
stats.t.ppf(0.975, df)erros padrão, onde df (os graus de liberdade) vem da fórmula de Welch,df = (va + vb)**2 / (va**2 / (na - 1) + vb**2 / (nb - 1))comva = var(a) / na. Com 3 seeds por lado df é 2 a 4, e o corte 2.8 a 4.3, não 2.
Preveja primeiro: na grade registrada, o corte mais rigoroso alguma vez anula um "shown" da regra de 2 erros padrão?
Palavras e símbolos nesta lição
- seed
- o número que fixa as escolhas aleatórias de uma execução; outra seed dá outro resultado
- erro padrão
- quanto uma diferença medida se moveria se as seeds fossem executadas novamente
Defina my_guess como "yes" ou "no". Escreva welch(a, b) retornando (diff, se, df) para duas listas de seed losses (diff = mean(a) - mean(b): positivo quando b, o modelo maior, é melhor). Depois, para cada caso em CASES, preencha result[case] com um dictionary: 'ratio' (diff / se), 'cutoff' (o t cutoff), 'two_se' e 't' ("shown" ou "not shown" por cada regra). Defina disagree como a lista de casos onde as duas regras diferem.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.