Programme Leçon 91 sur 250 · Tes premiers modèles de machine learning
Tes premiers modèles de machine learning

Évaluer les modèles : exactitude et erreur

Un modèle entraîné ne sert à rien tant que tu ne peux pas dire à quel point il est bon. Le bon score dépend de ce que tu prédis.

Classification : l'exactitude

Quand l'étiquette est une catégorie (spam ou non, espèce A/B/C), le score le plus simple est l'exactitude (accuracy) : la part des prédictions justes.

from sklearn.metrics import accuracy_score

acc = accuracy_score(y_true, y_pred)   # e.g. 0.875 means 7 of 8 right

L'exactitude va de 0 à 1. Mais « bon » est relatif. Si 95 pour cent des e-mails ne sont pas du spam, un modèle paresseux qui répond toujours « pas spam » obtient déjà 0.95 sans attraper aucun spam. Compare toujours avec ce genre de référence naïve avant de fêter un chiffre.

Régression : l'erreur

Quand l'étiquette est un nombre continu (un prix, une température), l'exactitude n'a pas de sens, tu ne prédiras presque jamais la valeur exacte. Tu mesures plutôt de combien tu t'es trompé. Un choix courant est l'erreur absolue moyenne (MAE), la taille moyenne de l'écart :

from sklearn.metrics import mean_absolute_error

mae = mean_absolute_error(y_true, y_pred)   # in the same units as y

La MAE est dans les unités de l'étiquette, ce qui la rend facile à lire : une MAE de 12 sur des prix de maisons en milliers veut dire que tu te trompes d'environ 12k en moyenne. Plus c'est bas, mieux c'est, et 0 est parfait.

Tu vas calculer les deux : une exactitude à partir de prédictions fournies, et une MAE à partir d'une petite régression linéaire ajustée sur une ligne parfaitement droite (donc son erreur devrait être pratiquement nulle).

À ton tour

Partie 1 : les tableaux y_true et y_pred (8 étiquettes chacun, qui diffèrent à un seul endroit) sont fournis. Écris acc = accuracy_score(y_true, y_pred). Partie 2 : X et target décrivent la droite y = 2x. Ajuste une LinearRegression nommée reg dessus, prédis sur X dans reg_pred, puis écris mae = mean_absolute_error(target, reg_pred).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.