Programma Lezione 87 di 250 · I tuoi primi modelli di machine learning
I tuoi primi modelli di machine learning

Divisione train/test: una misura onesta

Ecco l'abitudine più importante in assoluto nel machine learning. Se addestri un modello e poi lo testi sugli stessi dati, non impari niente di utile. Un modello può ottenere un punteggio perfetto semplicemente memorizzando le risposte che ha già visto. È come interrogare uno studente esattamente sulle domande che ha studiato: misura la memoria, non la comprensione.

La soluzione è tenere da parte un po' di dati. Addestri sulla maggior parte, poi testi su righe che il modello non ha mai visto. Il risultato sul test è la tua stima onesta di come andrà su dati reali e futuri.

scikit-learn ti dà una funzione per questo:

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=0
)

Restituisce quattro pezzi, sempre in quest'ordine: feature di addestramento, feature di test, etichette di addestramento, etichette di test. Contano due argomenti:

  • test_size=0.2 tiene da parte il 20 per cento per il test e il 80 per cento per l'addestramento.
  • random_state=0 fissa il mescolamento così ottieni la stessa divisione a ogni esecuzione. Senza, la divisione è casuale ogni volta, e i tuoi risultati ballerebbero e non si potrebbero controllare. In tutto questo corso, passa sempre random_state=0.

Da qui in poi una regola rigida: puoi addestrare sull'insieme di addestramento, ma valuti solo e sempre sull'insieme di test. Non riportare mai un punteggio calcolato su dati su cui il modello si è addestrato.

Tocca a te

Ti vengono dati gli array X (10 righe, 2 colonne) e y (10 etichette). Usa train_test_split con test_size=0.2 e random_state=0 per ottenere X_train, X_test, y_train, y_test. Poi assegna a n_train il numero di righe di addestramento e a n_test il numero di righe di test.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.