Programma Les 91 van 250 · Je eerste Machine Learning modellen
Je eerste Machine Learning modellen

Modellen evalueren: Nauwkeurigheid en fouten

Het

A getrainde model is nutteloos totdat je kunt zeggen hoe goed het is. De juiste score hangt af van wat je voorspelt.

Classificatie: nauwkeurigheid

Wanneer het label een categorie is (spam of niet, soort A/B/C), is de eenvoudigste score accuracy: het deel van de voorspellingen dat correct was.

from sklearn.metrics import accuracy_score

acc = accuracy_score(y_true, y_pred)   # e.g. 0.875 means 7 of 8 right

Accuracy loopt van 0 tot 1. Maar "goed" is relatief. Als 95 procent van de e-mail geen spam is, dan scoort een lui model dat altijd "not spam" gokt al 0.95 terwijl het nul spam vangt. Vergelijk altijd met zo'n naive basislijn voordat je een getal viert.

Regressie: fout

Wanneer het label een continu getal is (een prijs, een temperatuur), maakt nauwkeurigheid geen zin, je zult bijna nooit de exacte waarde voorspellen. In plaats daarvan meet je hoe ver je ernaast zat. Een veelvoorkomende keuze is mean absolute error, de gemiddelde grootte van de miss:

from sklearn.metrics import mean_absolute_error

mae = mean_absolute_error(y_true, y_pred)   # in the same units as y

MAE is in de eigen eenheden van het label, wat het makkelijk leesbaar maakt: een MAE van 12 op huizenprijzen in duizendtallen betekent dat je gemiddeld zo'n 12k ernaast zit. Lager is beter, en 0 is perfect.

Je berekent beide: een accuracy van gegeven voorspellingen, en een MAE van een kleine lineaire regressie fit op een perfect rechte lijn (dus de fout moet in essentie nul zijn).

Jij bent aan de beurt

Deel 1: arrays y_true en y_pred (elk 8 labels, verschillend op precies één plek) zijn gegeven. Stel acc = accuracy_score(y_true, y_pred) in. Deel 2: X en target beschrijven de lijn y = 2x. Pas een LinearRegression genaamd reg op deze aan, voorspel op X in reg_pred, stel dan mae = mean_absolute_error(target, reg_pred) in.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.