Programma Lezione 103 di 246 · Modulo 9: È davvero migliore?
Modulo 9: È davvero migliore?

Divisioni e fughe

Perché è importante Se qualsiasi informazione dei dati di test arriva all'addestramento, il punteggio di test non è più un test. È il modo più comune in cui persone oneste pubblicano numeri sbagliati.

La regola: il set di test non deve avere nessun ruolo in nessuna decisione, compresa la pre-elaborazione. Tre modi in cui si intrufola:

  • Scalare con tutti i dati. Calcolare media e dispersione su ogni riga, righe di test comprese, lascia che i valori di test diano forma agli input di addestramento. Piccolo, ma reale.
  • Scegliere le caratteristiche con tutte le etichette. Scegliere le caratteristiche più correlate con l'etichetta, usando anche le etichette di test, può far sembrare predittivo il puro rumore. Questo può essere enorme.
  • Duplicati tra le parti. Lo stesso esempio in entrambi i set: il modello viene provato su qualcosa che ha memorizzato.

Fuga di dati: informazione di test che arriva al processo di addestramento, facendo sembrare i punteggi migliori di quanto sono davvero.

Tocca a te

Imposta leaky su un dizionario che dice quali delle tre pipeline hanno una fuga. Poi scrivi pipeline_3_fixed(X, y): la stessa idea, scegliendo le 5 caratteristiche usando solo le prime 200 righe.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.