Programma Lezione 109 di 246 · Modulo 9: È davvero migliore?
Modulo 9: È davvero migliore?

Confrontare due modelli in modo equo

Perché è importante Torniamo alla lezione 1. Questo è il modo giusto di decidere.

Entrambi i modelli hanno risposto agli stessi 100 elementi. Quindi non mettere barre d'errore su ogni punteggio separatamente; mettine una sulla differenza, ricampionando gli elementi a coppie. Ogni ricampionamento sceglie 100 elementi con reinserimento e calcola l'accuratezza di B meno quella di A su quegli stessi elementi. Se l'intervallo al 95% di quella differenza include 0, i dati non riescono a distinguere i modelli.

Confronto appaiato: confrontare due modelli elemento per elemento sullo stesso set di test, il che annulla quanto è difficile ogni elemento.

Come sono state scelte le 100 immagini della lezione 1, onestamente: i lettori sono simulati, e il corso ha scelto un'estrazione di 100 immagini su cui A si trova per caso in vantaggio su B di 4 punti. Su 2,000 estrazioni casuali di 100 immagini, A era in vantaggio di 4 punti o più solo l'8% delle volte; B è risultato avanti in metà dei casi, e il 14% erano pari. È un tipo reale di fortuna, scelto per far capire il punto: un unico set di test di 100 può indicare la direzione sbagliata.

Parole e simboli di questa lezione
bootstrap
ricampionare il tuo set di test con ripetizioni per vedere quanto oscilla un punteggio
intervallo al 95%
il 95% centrale dei punteggi ricampionati
confronto appaiato
confrontare due modelli sugli stessi elementi, elemento per elemento
Tocca a te

Scrivi paired_diff_ci(a, b, n=2000, seed=0) (intervallo di B meno A, ricampionando gli indici degli elementi come nella lezione sul bootstrap) e verdict(a, b) che restituisce "A", "B" o "no clear difference". Eseguilo sui modelli della lezione 1.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.