Programma Lezione 92 di 250 · I tuoi primi modelli di machine learning
I tuoi primi modelli di machine learning

Oltre l'accuratezza: precision, recall e F1

Hai visto la trappola nell'ultima lezione: se il 95% delle email non è spam, un modello che risponde sempre "non spam" ottiene un'accuratezza di 0.95 senza beccare nemmeno uno spam. Su qualsiasi problema sbilanciato, l'accuratezza mente. La soluzione è guardare che tipo di errori fa il modello, con la matrice di confusione.

Per un classificatore sì/no (etichetta 1 = la classe positiva, per esempio "spam"), ogni previsione cade in una di quattro caselle:

TP  true positive   predicted 1, actually 1   (caught real spam)
FP  false positive  predicted 1, actually 0   (flagged a good email)
FN  false negative  predicted 0, actually 1   (missed real spam)
TN  true negative   predicted 0, actually 0   (left a good email alone)

Da quei conteggi escono tre numeri, ed è quello che i team reali riportano davvero:

  • Precision = TP / (TP + FP). Di tutto ciò che hai segnalato, quanto era giusto? Precision bassa = gridare al lupo.
  • Recall = TP / (TP + FN). Di tutto ciò che avresti dovuto beccare, quanto ne hai beccato? Recall bassa = perdere i casi veri.
  • F1 = 2 * P * R / (P + R), la media armonica. Un solo numero che è alto solo quando sono alte ENTRAMBE precision e recall, quindi il modello pigro tutto negativo (recall 0) ottiene F1 = 0 e viene smascherato.

Precision e recall si contendono il terreno: segnala tutto e la recall arriva a 1.0 ma la precision crolla; non segnalare niente e la precision non è definita ma non becchi niente. F1 ti tiene onesto. Quando un denominatore è zero (non hai previsto nessun positivo, o non ce ne sono), riporta quella metrica come 0.0 invece di dividere per zero.

Costruisci due funzioni. confusion(y_true, y_pred) restituisce la tupla (tp, fp, fn, tn) su due liste di etichette 0/1 della stessa lunghezza. prf(y_true, y_pred) restituisce {"precision", "recall", "f1"} calcolati da quei conteggi (0.0 per qualsiasi denominatore zero). I test nascosti confrontano i tuoi numeri con scikit-learn, quindi le definizioni devono essere esatte. Premi Run per valutare un classificatore sbilanciato.

Tocca a te

Scrivi confusion(y_true, y_pred) che restituisce (tp, fp, fn, tn) per due liste di etichette 0/1 della stessa lunghezza (1 è la classe positiva), e prf(y_true, y_pred) che restituisce {"precision", "recall", "f1"} dove precision = TP/(TP+FP), recall = TP/(TP+FN), e f1 = 2*P*R/(P+R). Restituisci 0.0 per qualsiasi metrica il cui denominatore è zero (non dividere mai per zero). I tuoi risultati vengono confrontati con scikit-learn.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.