Conteúdo do curso Lição 92 de 250 · Seus Primeiros Modelos de Machine Learning
Seus Primeiros Modelos de Machine Learning

Além da acurácia: Precisão, Revocação e F1

Você viu a armadilha na última lição: se 95% dos e-mails não são spam, um modelo que sempre chuta "não é spam" marca 0.95 acurácia enquanto captura zero spam. Em qualquer problema imbalanced, a acurácia mente. A correção é olhar qual tipo de erros o modelo comete, com a confusion matrix.

Para um classificador sim/não (rótulo 1 = a classe positiva, ex. "spam"), cada previsão cai em uma de quatro caixas:

TP  true positive   predicted 1, actually 1   (caught real spam)
FP  false positive  predicted 1, actually 0   (flagged a good email)
FN  false negative  predicted 0, actually 1   (missed real spam)
TN  true negative   predicted 0, actually 0   (left a good email alone)

Três números saem dessas contagens, e são eles que as equipes reais realmente relatam:

  • Precision = TP / (TP + FP). De tudo o que você sinalizou, quanto estava certo? Baixa precisão = dar alarme falso.
  • Recall = TP / (TP + FN). De tudo o que você deveria ter pego, quanto você pegou? Baixa revocação = perder os casos reais.
  • F1 = 2 * P * R / (P + R), a média harmônica. Um número que só é alto quando AMBOS a precisão e a revocação são altos, então o modelo preguiçoso totalmente negativo (revocação 0) marca F1 = 0 e é exposto.

Trade off entre precisão e revocação: sinalize tudo e a revocação atinge 1.0 mas a precisão despenca; não sinalize nada e a precisão é indefinida mas você não captura nada. F1 mantém você honesto. Quando um denominador é zero (você não previu positivos, ou não existem nenhum), reporte essa métrica como 0.0 em vez de dividir por zero.

Construa duas funções. confusion(y_true, y_pred) retorna a tupla (tp, fp, fn, tn) sobre duas listas de rótulos 0/1 de mesmo comprimento. prf(y_true, y_pred) retorna {"precision", "recall", "f1"} calculado a partir dessas contagens (0.0 em qualquer denominador zero). Os testes ocultos conferem seus números com o scikit-learn, então as definições devem ser exatas. Pressione Run para pontuar um classificador desbalanceado.

Sua vez

Escreva confusion(y_true, y_pred) retornando (tp, fp, fn, tn) para duas listas de rótulos 0/1 de mesmo comprimento (1 é a classe positiva), e prf(y_true, y_pred) retornando {"precision", "recall", "f1"} onde precision = TP/(TP+FP), recall = TP/(TP+FN), e f1 = 2*P*R/(P+R). Retorne 0.0 para qualquer métrica cujo denominador seja zero (nunca divida por zero). Seus resultados são verificados contra o scikit-learn.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.