Temario Lección 92 de 250 · Tus primeros modelos de aprendizaje automático
Tus primeros modelos de aprendizaje automático

Más allá de la exactitud: precisión, exhaustividad y F1

Viste la trampa en la lección anterior: si el 95% de los correos no son spam, un modelo que siempre adivina "no es spam" saca 0.95 de exactitud sin pillar ningún spam. En cualquier problema desequilibrado, la exactitud miente. El arreglo es mirar qué tipo de errores comete el modelo, con la matriz de confusión.

En un clasificador de sí o no (etiqueta 1 = la clase positiva, por ejemplo "spam"), cada predicción cae en una de cuatro casillas:

TP  true positive   predicted 1, actually 1   (caught real spam)
FP  false positive  predicted 1, actually 0   (flagged a good email)
FN  false negative  predicted 0, actually 1   (missed real spam)
TN  true negative   predicted 0, actually 0   (left a good email alone)

De esos recuentos salen tres números, y son los que de verdad dan los equipos reales:

  • Precisión = TP / (TP + FP). De todo lo que marcaste, ¿cuánto era correcto? Una precisión baja = falsas alarmas.
  • Exhaustividad (recall) = TP / (TP + FN). De todo lo que deberías haber pillado, ¿cuánto pillaste? Una exhaustividad baja = se te escapan los casos reales.
  • F1 = 2 * P * R / (P + R), la media armónica. Un solo número que solo es alto cuando la precisión Y la exhaustividad son altas, así que el modelo perezoso que lo da todo como negativo (exhaustividad 0) saca F1 = 0 y queda al descubierto.

La precisión y la exhaustividad se compensan: márcalo todo y la exhaustividad llega a 1.0 pero la precisión se hunde; no marques nada y la precisión no está definida pero no pillas nada. F1 te mantiene honesto. Cuando un denominador es cero (no predijiste ningún positivo, o no hay ninguno), da esa métrica como 0.0 en lugar de dividir entre cero.

Construye dos funciones. confusion(y_true, y_pred) devuelve la tupla (tp, fp, fn, tn) sobre dos listas de la misma longitud con etiquetas 0/1. prf(y_true, y_pred) devuelve {"precision", "recall", "f1"} calculados a partir de esos recuentos (0.0 con cualquier denominador cero). Las pruebas ocultas comprueban tus números con scikit-learn, así que las definiciones tienen que ser exactas. Pulsa Ejecutar para evaluar un clasificador desequilibrado.

Tu turno

Escribe confusion(y_true, y_pred), que devuelve (tp, fp, fn, tn) para dos listas de la misma longitud con etiquetas 0/1 (1 es la clase positiva), y prf(y_true, y_pred), que devuelve {"precision", "recall", "f1"} donde precision = TP/(TP+FP), recall = TP/(TP+FN) y f1 = 2*P*R/(P+R). Devuelve 0.0 en cualquier métrica cuyo denominador sea cero (nunca dividas entre cero). Tus resultados se comprueban con scikit-learn.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.