Más allá de la exactitud: precisión, exhaustividad y F1
Viste la trampa en la lección anterior: si el 95% de los correos no son spam, un modelo que siempre adivina "no es spam" saca 0.95 de exactitud sin pillar ningún spam. En cualquier problema desequilibrado, la exactitud miente. El arreglo es mirar qué tipo de errores comete el modelo, con la matriz de confusión.
En un clasificador de sí o no (etiqueta 1 = la clase positiva, por ejemplo "spam"), cada predicción cae en una de cuatro casillas:
TP true positive predicted 1, actually 1 (caught real spam)
FP false positive predicted 1, actually 0 (flagged a good email)
FN false negative predicted 0, actually 1 (missed real spam)
TN true negative predicted 0, actually 0 (left a good email alone)De esos recuentos salen tres números, y son los que de verdad dan los equipos reales:
- Precisión =
TP / (TP + FP). De todo lo que marcaste, ¿cuánto era correcto? Una precisión baja = falsas alarmas. - Exhaustividad (recall) =
TP / (TP + FN). De todo lo que deberías haber pillado, ¿cuánto pillaste? Una exhaustividad baja = se te escapan los casos reales. - F1 =
2 * P * R / (P + R), la media armónica. Un solo número que solo es alto cuando la precisión Y la exhaustividad son altas, así que el modelo perezoso que lo da todo como negativo (exhaustividad 0) saca F1 = 0 y queda al descubierto.
La precisión y la exhaustividad se compensan: márcalo todo y la exhaustividad llega a 1.0 pero la precisión se hunde; no marques nada y la precisión no está definida pero no pillas nada. F1 te mantiene honesto. Cuando un denominador es cero (no predijiste ningún positivo, o no hay ninguno), da esa métrica como 0.0 en lugar de dividir entre cero.
Construye dos funciones. confusion(y_true, y_pred) devuelve la tupla (tp, fp, fn, tn) sobre dos listas de la misma longitud con etiquetas 0/1. prf(y_true, y_pred) devuelve {"precision", "recall", "f1"} calculados a partir de esos recuentos (0.0 con cualquier denominador cero). Las pruebas ocultas comprueban tus números con scikit-learn, así que las definiciones tienen que ser exactas. Pulsa Ejecutar para evaluar un clasificador desequilibrado.
Escribe confusion(y_true, y_pred), que devuelve (tp, fp, fn, tn) para dos listas de la misma longitud con etiquetas 0/1 (1 es la clase positiva), y prf(y_true, y_pred), que devuelve {"precision", "recall", "f1"} donde precision = TP/(TP+FP), recall = TP/(TP+FN) y f1 = 2*P*R/(P+R). Devuelve 0.0 en cualquier métrica cuyo denominador sea cero (nunca dividas entre cero). Tus resultados se comprueban con scikit-learn.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.