Conteúdo do curso Lição 233 de 246 · Módulo 22: Julgando afirmações
Módulo 22: Julgando afirmações

Uma regra por trás de cada verificação de "é real

Por que isso importa Este curso julgou diferenças de pelo menos quatro formas: um intervalo pareado (Module 9), "0.1 mais alto e mais alto em cada seed" (Modules 16 e 17) e 2 erros padrão (este módulo). Todos são a mesma ideia, e saber isso permite que você escolha o correto e saiba quando um é generoso demais.

Cada regra compara uma difference com seu noise. Duas escolhas mudam a resposta:

  • Pareado ou não. Quando ambos os modelos são avaliados nos mesmos itens (imagens de teste do Módulo 9), subtraia item por item primeiro: o quão difícil cada item é se anula, o ruído diminui e pequenas diferenças reais aparecem. Para dois classificadores nos mesmos itens, a contagem mais limpa é apenas os itens onde eles discordam (teste de McNemar). Sementes de execuções separadas não são pareadas: compare os dois grupos como um todo.
  • O quão rigoroso é o corte. 2 erros padrão assume que você conhece o ruído. Com 3 seeds por lado você o estimou a partir de 3 números cada, e essa estimativa pode facilmente ser pequena demais. Student's t leva isso em conta: o corte se torna stats.t.ppf(0.975, df) erros padrão, onde df (os graus de liberdade) vem da fórmula de Welch, df = (va + vb)**2 / (va**2 / (na - 1) + vb**2 / (nb - 1)) com va = var(a) / na. Com 3 seeds por lado df é 2 a 4, e o corte 2.8 a 4.3, não 2.

Preveja primeiro: na grade registrada, o corte mais rigoroso alguma vez anula um "shown" da regra de 2 erros padrão?

Palavras e símbolos nesta lição
seed
o número que fixa as escolhas aleatórias de uma execução; outra seed dá outro resultado
erro padrão
quanto uma diferença medida se moveria se as seeds fossem executadas novamente
Sua vez

Defina my_guess como "yes" ou "no". Escreva welch(a, b) retornando (diff, se, df) para duas listas de seed losses (diff = mean(a) - mean(b): positivo quando b, o modelo maior, é melhor). Depois, para cada caso em CASES, preencha result[case] com um dictionary: 'ratio' (diff / se), 'cutoff' (o t cutoff), 'two_se' e 't' ("shown" ou "not shown" por cada regra). Defina disagree como a lista de casos onde as duas regras diferem.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.