Divisione train/test: una misura onesta
Ecco l'abitudine più importante in assoluto nel machine learning. Se addestri un modello e poi lo testi sugli stessi dati, non impari niente di utile. Un modello può ottenere un punteggio perfetto semplicemente memorizzando le risposte che ha già visto. È come interrogare uno studente esattamente sulle domande che ha studiato: misura la memoria, non la comprensione.
La soluzione è tenere da parte un po' di dati. Addestri sulla maggior parte, poi testi su righe che il modello non ha mai visto. Il risultato sul test è la tua stima onesta di come andrà su dati reali e futuri.
scikit-learn ti dà una funzione per questo:
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=0
)Restituisce quattro pezzi, sempre in quest'ordine: feature di addestramento, feature di test, etichette di addestramento, etichette di test. Contano due argomenti:
test_size=0.2tiene da parte il 20 per cento per il test e il 80 per cento per l'addestramento.random_state=0fissa il mescolamento così ottieni la stessa divisione a ogni esecuzione. Senza, la divisione è casuale ogni volta, e i tuoi risultati ballerebbero e non si potrebbero controllare. In tutto questo corso, passa semprerandom_state=0.
Da qui in poi una regola rigida: puoi addestrare sull'insieme di addestramento, ma valuti solo e sempre sull'insieme di test. Non riportare mai un punteggio calcolato su dati su cui il modello si è addestrato.
Ti vengono dati gli array X (10 righe, 2 colonne) e y (10 etichette). Usa train_test_split con test_size=0.2 e random_state=0 per ottenere X_train, X_test, y_train, y_test. Poi assegna a n_train il numero di righe di addestramento e a n_test il numero di righe di test.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.