Underfitting e overfitting
Questa è la tensione centrale di tutto il machine learning, e ora hai gli strumenti per vederla direttamente. Un modello può fallire in due modi opposti.
- Underfitting: il modello è troppo semplice per catturare lo schema. Va male sia sui dati di addestramento sia su quelli di test. Pensa a tracciare una retta attraverso dati che chiaramente curvano.
- Overfitting: il modello è troppo complesso e memorizza i dati di addestramento, compresi il rumore e le stranezze. Ottiene un ottimo punteggio in addestramento ma scarso nel test, perché ha imparato gli esempi specifici invece della regola generale.
La complessità di un albero decisionale è controllata da max_depth, il numero di livelli di domande che gli è permesso:
shallow = DecisionTreeClassifier(max_depth=1, random_state=0) # too simple
deep = DecisionTreeClassifier(max_depth=None, random_state=0) # unlimitedUn albero di profondità 1 può fare una sola domanda, quindi è costretto a essere grossolano e tende all'underfitting. Un albero di profondità illimitata continua a dividere finché non isola le righe di addestramento, quindi può portare l'accuratezza di addestramento a un perfetto 1.0 mentre va peggio sulle righe di test mai viste.
Il segnale rivelatore dell'overfitting è un divario: accuratezza di addestramento molto più alta di quella di test. Tutta l'arte di mettere a punto un modello è trovare la complessità di mezzo che va bene sui dati di test, l'unico punteggio che conta.
Addestrerai sia un albero poco profondo sia uno profondo, registrerai l'accuratezza di addestramento e di test di ciascuno, e calcolerai il divario di overfitting così la relazione è lì nei numeri.
Un dataset rumoroso e una divisione train/test sono già pronti. Addestra shallow = DecisionTreeClassifier(max_depth=1, random_state=0) e deep = DecisionTreeClassifier(max_depth=None, random_state=0) sui dati di addestramento. Registra quattro numeri: shallow_train, shallow_test, deep_train, deep_test (l'accuratezza sull'insieme corrispondente per ogni albero). Poi assegna overfit_gap = deep_train - deep_test.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.