Conteúdo do curso Lição 91 de 250 · Seus Primeiros Modelos de Machine Learning
Seus Primeiros Modelos de Machine Learning

Avaliando Modelos: Acurácia e Erro

O modelo treinado

A é inútil até que você possa dizer quão bom ele é. A pontuação correta depende do que você está prevendo.

Classificação: acurácia

Quando o rótulo é uma categoria (spam ou não, espécie A/B/C), a pontuação mais simples é accuracy: a fração de previsões que estavam corretas.

from sklearn.metrics import accuracy_score

acc = accuracy_score(y_true, y_pred)   # e.g. 0.875 means 7 of 8 right

Acurácia vai de 0 a 1. Mas "bom" é relativo. Se 95 por cento do e-mail não é spam, um modelo preguiçoso que sempre chuta "não é spam" já marca 0.95 enquanto pega zero spam. Sempre compare com esse tipo de baseline ingênua antes de comemorar um número.

Regressão: erro

Quando o rótulo é um número contínuo (um preço, uma temperatura), acurácia não faz sentido, você quase nunca vai prever o valor exato. Em vez disso, você mede o quanto errou. Uma escolha comum é mean absolute error, o tamanho médio do erro:

from sklearn.metrics import mean_absolute_error

mae = mean_absolute_error(y_true, y_pred)   # in the same units as y

MAE está nas próprias unidades do rótulo, o que facilita a leitura: um MAE de 12 em preços de casas em milhares significa que você está fora por cerca de 12k em média. Menor é melhor, e 0 é perfeito.

Você vai calcular ambos: uma acurácia a partir de previsões dadas, e um MAE de um ajuste de regressão linear minúsculo em uma linha perfeitamente reta (então seu erro deve ser essencialmente zero).

Sua vez

Parte 1: arrays y_true e y_pred (8 rótulos cada, diferindo em exatamente um ponto) são fornecidos. Defina acc = accuracy_score(y_true, y_pred). Parte 2: X e target descrevem a linha y = 2x. Ajuste um LinearRegression chamado reg neles, preveja em X para reg_pred, depois defina mae = mean_absolute_error(target, reg_pred).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.