Oltre l'accuratezza: precision, recall e F1
Hai visto la trappola nell'ultima lezione: se il 95% delle email non è spam, un modello che risponde sempre "non spam" ottiene un'accuratezza di 0.95 senza beccare nemmeno uno spam. Su qualsiasi problema sbilanciato, l'accuratezza mente. La soluzione è guardare che tipo di errori fa il modello, con la matrice di confusione.
Per un classificatore sì/no (etichetta 1 = la classe positiva, per esempio "spam"), ogni previsione cade in una di quattro caselle:
TP true positive predicted 1, actually 1 (caught real spam)
FP false positive predicted 1, actually 0 (flagged a good email)
FN false negative predicted 0, actually 1 (missed real spam)
TN true negative predicted 0, actually 0 (left a good email alone)Da quei conteggi escono tre numeri, ed è quello che i team reali riportano davvero:
- Precision =
TP / (TP + FP). Di tutto ciò che hai segnalato, quanto era giusto? Precision bassa = gridare al lupo. - Recall =
TP / (TP + FN). Di tutto ciò che avresti dovuto beccare, quanto ne hai beccato? Recall bassa = perdere i casi veri. - F1 =
2 * P * R / (P + R), la media armonica. Un solo numero che è alto solo quando sono alte ENTRAMBE precision e recall, quindi il modello pigro tutto negativo (recall 0) ottiene F1 = 0 e viene smascherato.
Precision e recall si contendono il terreno: segnala tutto e la recall arriva a 1.0 ma la precision crolla; non segnalare niente e la precision non è definita ma non becchi niente. F1 ti tiene onesto. Quando un denominatore è zero (non hai previsto nessun positivo, o non ce ne sono), riporta quella metrica come 0.0 invece di dividere per zero.
Costruisci due funzioni. confusion(y_true, y_pred) restituisce la tupla (tp, fp, fn, tn) su due liste di etichette 0/1 della stessa lunghezza. prf(y_true, y_pred) restituisce {"precision", "recall", "f1"} calcolati da quei conteggi (0.0 per qualsiasi denominatore zero). I test nascosti confrontano i tuoi numeri con scikit-learn, quindi le definizioni devono essere esatte. Premi Run per valutare un classificatore sbilanciato.
Scrivi confusion(y_true, y_pred) che restituisce (tp, fp, fn, tn) per due liste di etichette 0/1 della stessa lunghezza (1 è la classe positiva), e prf(y_true, y_pred) che restituisce {"precision", "recall", "f1"} dove precision = TP/(TP+FP), recall = TP/(TP+FN), e f1 = 2*P*R/(P+R). Restituisci 0.0 per qualsiasi metrica il cui denominatore è zero (non dividere mai per zero). I tuoi risultati vengono confrontati con scikit-learn.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.