Temario Lección 168 de 250 · Evaluaciones y pruebas de LLM
Evaluaciones y pruebas de LLM

Exactitud frente a precisión, exhaustividad y F1 en clasificación

Una parte enorme del trabajo con LLM es en realidad clasificación: enrutar este ticket, etiquetar este sentimiento, marcar este mensaje como spam. Para eso, la exactitud por sí sola es una trampa. Construye un filtro de spam sobre un buzón que es 95% ham, y un modelo que etiquete todo como ham obtiene un 95% de exactitud sin atrapar nada de spam. El número parece estupendo; el producto no sirve para nada. Para verlo necesitas la precisión, la exhaustividad y el F1 desglosados para la clase que de verdad te importa.

Elige una clase positiva (por ejemplo spam) y cuenta cuatro casillas:

  • TP verdaderos positivos: se predijo spam y era spam.
  • FP falsos positivos: se predijo spam y era ham (un correo bueno enviado a la carpeta de basura).
  • FN falsos negativos: se predijo ham y era spam (spam que se coló).
precision = TP / (TP + FP)   # of what I flagged, how much was right
recall    = TP / (TP + FN)   # of the real positives, how many I caught
f1        = 2 * P * R / (P + R)
accuracy  = correct / total  # all classes, all predictions

Estas tiran en direcciones distintas. Marca de forma agresiva y la exhaustividad sube mientras la precisión baja; marca con prudencia y pasa lo contrario. El F1 es el único número que no deja que ninguna de las dos se hunda. En un conjunto desequilibrado, la exactitud y el F1 divergen mucho, y por eso precisamente se calculan por separado.

Las implementarás a mano porque merece la pena saberse las fórmulas de memoria para las entrevistas. Pero nunca deberías publicar métricas hechas a mano cuando existe una biblioteca probada, así que las pruebas también comprueban tus números contra precision_score, recall_score y f1_score de scikit-learn. Si coincides con sklearn, lo implementaste bien.

from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")

Qué construir. classification_metrics(y_true, y_pred, positive_label), que devuelva un dict {"accuracy", "precision", "recall", "f1"}, cada uno redondeado con round a 4 decimales. Protege los casos con denominador cero (ningún positivo predicho, ningún positivo real) devolviendo 0.0 para esa métrica en lugar de dividir por cero. Pulsa Ejecutar para imprimir un informe y ver cómo la exactitud y el F1 discrepan en un conjunto desequilibrado.

Tu turno

Escribe classification_metrics(y_true, y_pred, positive_label), que devuelva {'accuracy', 'precision', 'recall', 'f1'} para la clase positiva elegida, cada uno redondeado con round a 4 decimales. Cuenta TP/FP/FN respecto a positive_label; precisión = TP/(TP+FP), exhaustividad = TP/(TP+FN), f1 = la media armónica, exactitud = aciertos/total. Devuelve 0.0 para cualquier métrica cuyo denominador sea cero. Tus números deben coincidir con precision_score/recall_score/f1_score de scikit-learn.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.