Comparando dois modelos de forma justa
Por que isso importa De volta à lição 1. Este é o jeito certo de decidir.
Ambos os modelos responderam aos mesmos 100 itens. Então não coloque barras de erro em cada pontuação separadamente; coloque uma na diferença, reamostrando os itens como pares. Cada reamostragem escolhe 100 itens com reposição e calcula a acurácia de B menos a de A nesses mesmos itens. Se o intervalo de 95% dessa diferença incluir 0, os dados não podem distinguir os modelos.
Comparação pareada: comparar dois modelos item por item no mesmo conjunto de teste, o que anula o quão difícil cada item é.
Como as 100 imagens da lição 1 foram escolhidas, honestamente: os leitores são simulados, e o curso escolheu um sorteio de 100 imagens no qual A acontece de liderar B por 4 pontos. Em mais de 2.000 sorteios aleatórios de 100 imagens, A liderou por 4 pontos ou mais apenas 8% das vezes; B saiu na frente em metade deles, e 14% foram empates. É um tipo real de sorte, escolhida para enfatizar o ponto: um único conjunto de teste de 100 pode apontar para o lado errado.
Palavras e símbolos nesta lição
- bootstrap
- remostreando seu conjunto de teste com repetições para ver o quanto uma pontuação oscila
- 95% intervalo
- os 95% centrais das pontuações reamostradas
- comparação pareada
- comparando dois modelos nos mesmos itens, item por item
Escreva paired_diff_ci(a, b, n=2000, seed=0) (intervalo de B menos A, índices de itens de reamostragem como na lição de bootstrap) e verdict(a, b) retornando "A", "B" ou "no clear difference". Execute nos modelos da lição 1.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.