Programma Lezione 233 di 246 · Modulo 22: Giudicare le affermazioni
Modulo 22: Giudicare le affermazioni

Una regola dietro ogni controllo "è reale?"

Perché è importante Questo corso ha giudicato differenze in almeno quattro modi: un intervallo a coppie (Modulo 9), "0.1 più alto e più alto su ogni seed" (Moduli 16 e 17), e 2 errori standard (questo modulo). Sono tutti la stessa idea, e saperlo ti permette di scegliere quello giusto, e di sapere quando uno è troppo generoso.

Ogni regola confronta una differenza con il suo rumore. Due scelte cambiano la risposta:

  • A coppie o no. Quando entrambi i modelli sono valutati sugli stessi elementi (le immagini di test del Modulo 9), sottrai prima elemento per elemento: la difficoltà di ogni elemento si annulla, il rumore si riduce, e le piccole differenze vere si vedono. Per due classificatori sugli stessi elementi, il conteggio più pulito è semplicemente quello degli elementi su cui non sono d'accordo (il test di McNemar). I seed di esecuzioni separate non sono a coppie: confronta i due gruppi nel loro insieme.
  • Quanto è severa la soglia. 2 errori standard presuppone che tu conosca il rumore. Con 3 seed per lato l'hai stimato da 3 numeri ciascuno, e quella stima può facilmente essere troppo piccola. La t di Student ne tiene conto: la soglia diventa stats.t.ppf(0.975, df) errori standard, dove df (i gradi di libertà) viene dalla formula di Welch, df = (va + vb)**2 / (va**2 / (na - 1) + vb**2 / (nb - 1)) con va = var(a) / na. Con 3 seed per lato df va da 2 a 4, e la soglia da 2.8 a 4.3, non 2.

Prima prevedi: sulla griglia registrata, la soglia più severa ribalta mai un "shown" della regola dei 2 errori standard?

Parole e simboli di questa lezione
seed
il numero che fissa le scelte casuali di un'esecuzione; un altro seed dà un altro risultato
errore standard
quanto si sposterebbe una differenza misurata se si rieseguissero i seed
Tocca a te

Imposta my_guess su "yes" o "no". Scrivi welch(a, b) che restituisce (diff, se, df) per due liste di loss dei seed (diff = mean(a) - mean(b): positivo quando b, il modello più grande, è migliore). Poi, per ogni caso in CASES, riempi result[case] con un dict: 'ratio' (diff / se), 'cutoff' (la soglia t), 'two_se' e 't' ("shown" o "not shown" secondo ciascuna regola). Imposta disagree sulla lista dei casi in cui le due regole differiscono.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.