Programma Lezione 91 di 250 · I tuoi primi modelli di machine learning
I tuoi primi modelli di machine learning

Valutare i modelli: accuratezza ed errore

Un modello addestrato è inutile finché non sai dire quanto è buono. Il punteggio giusto dipende da che cosa stai prevedendo.

Classificazione: accuratezza

Quando l'etichetta è una categoria (spam o no, specie A/B/C), il punteggio più semplice è l'accuratezza: la frazione di previsioni giuste.

from sklearn.metrics import accuracy_score

acc = accuracy_score(y_true, y_pred)   # e.g. 0.875 means 7 of 8 right

L'accuratezza va da 0 a 1. Ma "buono" è relativo. Se il 95 per cento delle email non è spam, un modello pigro che risponde sempre "non spam" ottiene già 0.95 senza beccare nemmeno uno spam. Confronta sempre con quel tipo di riferimento ingenuo prima di festeggiare un numero.

Regressione: errore

Quando l'etichetta è un numero continuo (un prezzo, una temperatura), l'accuratezza non ha senso, non prevederai quasi mai il valore esatto. Misuri invece di quanto hai sbagliato. Una scelta comune è l'errore assoluto medio (MAE), la dimensione media dell'errore:

from sklearn.metrics import mean_absolute_error

mae = mean_absolute_error(y_true, y_pred)   # in the same units as y

Il MAE è nelle unità stesse dell'etichetta, e questo lo rende facile da leggere: un MAE di 12 sui prezzi delle case in migliaia significa che sbagli in media di circa 12k. Più basso è meglio, e 0 è perfetto.

Li calcolerai entrambi: un'accuratezza da previsioni date, e un MAE da una piccola regressione lineare addestrata su una linea perfettamente dritta (quindi il suo errore dovrebbe essere praticamente zero).

Tocca a te

Parte 1: ti vengono dati gli array y_true e y_pred (8 etichette ciascuno, diversi in un solo punto). Assegna acc = accuracy_score(y_true, y_pred). Parte 2: X e target descrivono la retta y = 2x. Addestra un LinearRegression chiamato reg su di loro, fai predict su X in reg_pred, poi assegna mae = mean_absolute_error(target, reg_pred).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.