Temario Lección 91 de 250 · Tus primeros modelos de aprendizaje automático
Tus primeros modelos de aprendizaje automático

Evaluar modelos: exactitud y error

Un modelo entrenado no sirve de nada hasta que puedes decir lo bueno que es. La nota adecuada depende de lo que estés prediciendo.

Clasificación: exactitud

Cuando la etiqueta es una categoría (spam o no, especie A/B/C), la nota más sencilla es la exactitud (accuracy): la fracción de predicciones que fueron correctas.

from sklearn.metrics import accuracy_score

acc = accuracy_score(y_true, y_pred)   # e.g. 0.875 means 7 of 8 right

La exactitud va de 0 a 1. Pero "bueno" es relativo. Si el 95 por ciento del correo no es spam, un modelo perezoso que siempre adivina "no es spam" ya saca 0.95 sin pillar ningún spam. Compara siempre con ese tipo de referencia ingenua antes de celebrar una cifra.

Regresión: error

Cuando la etiqueta es un número continuo (un precio, una temperatura), la exactitud no tiene sentido: casi nunca predecirás el valor exacto. En su lugar mides cuánto te desviaste. Una elección habitual es el error absoluto medio (MAE), el tamaño medio del fallo:

from sklearn.metrics import mean_absolute_error

mae = mean_absolute_error(y_true, y_pred)   # in the same units as y

El MAE está en las propias unidades de la etiqueta, lo que lo hace fácil de leer: un MAE de 12 en precios de viviendas en miles significa que te desvías unos 12 000 de media. Cuanto más bajo, mejor, y 0 es perfecto.

Vas a calcular los dos: una exactitud a partir de unas predicciones dadas, y un MAE a partir de una pequeña regresión lineal ajustada a una línea perfectamente recta (así que su error debería ser prácticamente cero).

Tu turno

Parte 1: tienes los arrays y_true e y_pred (8 etiquetas cada uno, que difieren exactamente en una posición). Asigna acc = accuracy_score(y_true, y_pred). Parte 2: X y target describen la línea y = 2x. Entrena con ellos un LinearRegression llamado reg, predice sobre X en reg_pred y luego asigna mae = mean_absolute_error(target, reg_pred).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.