Programma Les 95 van 250 · Je eerste Machine Learning modellen
Je eerste Machine Learning modellen

Underfitting en Overfitting

Dit is de centrale spanning in alle machine learning, en nu heb je de tools om dit direct te zien. Een model kan op twee tegenovergestelde manieren falen.

  • Underfitting: het model is te simpel om het patroon te vatten. Het presteert slecht op zowel de trainingsdata als de testdata. Denk aan het tekenen van een rechte lijn door data die duidelijk buigt.
  • Overfitting: het model is te complex en onthoudt de trainingsdata, inclusief de ruis en eigenaardigheden. Het scoort goed op training maar slecht op test, omdat het de specifieke voorbeelden leerde in plaats van de algemene regel.

De complexiteit van een decision tree wordt gecontroleerd door max_depth, het aantal vraaglagen dat het mag hebben:

shallow = DecisionTreeClassifier(max_depth=1, random_state=0)   # too simple
deep    = DecisionTreeClassifier(max_depth=None, random_state=0) # unlimited
Een

A depth-1 tree mag maar één vraag stellen, dus het wordt gedwongen om grof te zijn en neigt naar underfitting. Een boom met onbeperkte diepte blijft splitsen tot het de trainingsrijen isoleert, zodat het de training nauwkeurigheid naar een perfecte 1.0 kan drijven terwijl het slechter presteert op onbekende test rijen.

Het duidelijke teken van overfitting is een gap: de training accuracy is veel hoger dan de test accuracy. De hele kunst van het tunen van een model is het vinden van de middelste complexiteit die goed scoort op testdata, wat de enige score is die telt.

Je traint zowel een ondiepe als een diepe boom, noteert de train en test accuracy voor elk en berekent de overfitting gap zodat de relatie direct in de getallen staat.

Jij bent aan de beurt

Een noisy dataset en een train/test split zijn al voorbereid. Train shallow = DecisionTreeClassifier(max_depth=1, random_state=0) en deep = DecisionTreeClassifier(max_depth=None, random_state=0) op de trainingsdata. Noteer vier getallen: shallow_train, shallow_test, deep_train, deep_test (accuracy op de matching set voor elke boom). Stel daarna overfit_gap = deep_train - deep_test in.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.