Confrontare due modelli in modo equo
Perché è importante Torniamo alla lezione 1. Questo è il modo giusto di decidere.
Entrambi i modelli hanno risposto agli stessi 100 elementi. Quindi non mettere barre d'errore su ogni punteggio separatamente; mettine una sulla differenza, ricampionando gli elementi a coppie. Ogni ricampionamento sceglie 100 elementi con reinserimento e calcola l'accuratezza di B meno quella di A su quegli stessi elementi. Se l'intervallo al 95% di quella differenza include 0, i dati non riescono a distinguere i modelli.
Confronto appaiato: confrontare due modelli elemento per elemento sullo stesso set di test, il che annulla quanto è difficile ogni elemento.
Come sono state scelte le 100 immagini della lezione 1, onestamente: i lettori sono simulati, e il corso ha scelto un'estrazione di 100 immagini su cui A si trova per caso in vantaggio su B di 4 punti. Su 2,000 estrazioni casuali di 100 immagini, A era in vantaggio di 4 punti o più solo l'8% delle volte; B è risultato avanti in metà dei casi, e il 14% erano pari. È un tipo reale di fortuna, scelto per far capire il punto: un unico set di test di 100 può indicare la direzione sbagliata.
Parole e simboli di questa lezione
- bootstrap
- ricampionare il tuo set di test con ripetizioni per vedere quanto oscilla un punteggio
- intervallo al 95%
- il 95% centrale dei punteggi ricampionati
- confronto appaiato
- confrontare due modelli sugli stessi elementi, elemento per elemento
Scrivi paired_diff_ci(a, b, n=2000, seed=0) (intervallo di B meno A, ricampionando gli indici degli elementi come nella lezione sul bootstrap) e verdict(a, b) che restituisce "A", "B" o "no clear difference". Eseguilo sui modelli della lezione 1.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.