Conteúdo do curso Lição 109 de 246 · Módulo 9: É realmente melhor?
Módulo 9: É realmente melhor?

Comparando dois modelos de forma justa

Por que isso importa De volta à lição 1. Este é o jeito certo de decidir.

Ambos os modelos responderam aos mesmos 100 itens. Então não coloque barras de erro em cada pontuação separadamente; coloque uma na diferença, reamostrando os itens como pares. Cada reamostragem escolhe 100 itens com reposição e calcula a acurácia de B menos a de A nesses mesmos itens. Se o intervalo de 95% dessa diferença incluir 0, os dados não podem distinguir os modelos.

Comparação pareada: comparar dois modelos item por item no mesmo conjunto de teste, o que anula o quão difícil cada item é.

Como as 100 imagens da lição 1 foram escolhidas, honestamente: os leitores são simulados, e o curso escolheu um sorteio de 100 imagens no qual A acontece de liderar B por 4 pontos. Em mais de 2.000 sorteios aleatórios de 100 imagens, A liderou por 4 pontos ou mais apenas 8% das vezes; B saiu na frente em metade deles, e 14% foram empates. É um tipo real de sorte, escolhida para enfatizar o ponto: um único conjunto de teste de 100 pode apontar para o lado errado.

Palavras e símbolos nesta lição
bootstrap
remostreando seu conjunto de teste com repetições para ver o quanto uma pontuação oscila
95% intervalo
os 95% centrais das pontuações reamostradas
comparação pareada
comparando dois modelos nos mesmos itens, item por item
Sua vez

Escreva paired_diff_ci(a, b, n=2000, seed=0) (intervalo de B menos A, índices de itens de reamostragem como na lição de bootstrap) e verdict(a, b) retornando "A", "B" ou "no clear difference". Execute nos modelos da lição 1.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.