Programma Lezione 95 di 250 · I tuoi primi modelli di machine learning
I tuoi primi modelli di machine learning

Underfitting e overfitting

Questa è la tensione centrale di tutto il machine learning, e ora hai gli strumenti per vederla direttamente. Un modello può fallire in due modi opposti.

  • Underfitting: il modello è troppo semplice per catturare lo schema. Va male sia sui dati di addestramento sia su quelli di test. Pensa a tracciare una retta attraverso dati che chiaramente curvano.
  • Overfitting: il modello è troppo complesso e memorizza i dati di addestramento, compresi il rumore e le stranezze. Ottiene un ottimo punteggio in addestramento ma scarso nel test, perché ha imparato gli esempi specifici invece della regola generale.

La complessità di un albero decisionale è controllata da max_depth, il numero di livelli di domande che gli è permesso:

shallow = DecisionTreeClassifier(max_depth=1, random_state=0)   # too simple
deep    = DecisionTreeClassifier(max_depth=None, random_state=0) # unlimited

Un albero di profondità 1 può fare una sola domanda, quindi è costretto a essere grossolano e tende all'underfitting. Un albero di profondità illimitata continua a dividere finché non isola le righe di addestramento, quindi può portare l'accuratezza di addestramento a un perfetto 1.0 mentre va peggio sulle righe di test mai viste.

Il segnale rivelatore dell'overfitting è un divario: accuratezza di addestramento molto più alta di quella di test. Tutta l'arte di mettere a punto un modello è trovare la complessità di mezzo che va bene sui dati di test, l'unico punteggio che conta.

Addestrerai sia un albero poco profondo sia uno profondo, registrerai l'accuratezza di addestramento e di test di ciascuno, e calcolerai il divario di overfitting così la relazione è lì nei numeri.

Tocca a te

Un dataset rumoroso e una divisione train/test sono già pronti. Addestra shallow = DecisionTreeClassifier(max_depth=1, random_state=0) e deep = DecisionTreeClassifier(max_depth=None, random_state=0) sui dati di addestramento. Registra quattro numeri: shallow_train, shallow_test, deep_train, deep_test (l'accuratezza sull'insieme corrispondente per ogni albero). Poi assegna overfit_gap = deep_train - deep_test.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.