Além da acurácia: Precisão, Revocação e F1
Você viu a armadilha na última lição: se 95% dos e-mails não são spam, um modelo que sempre chuta "não é spam" marca 0.95 acurácia enquanto captura zero spam. Em qualquer problema imbalanced, a acurácia mente. A correção é olhar qual tipo de erros o modelo comete, com a confusion matrix.
Para um classificador sim/não (rótulo 1 = a classe positiva, ex. "spam"), cada previsão cai em uma de quatro caixas:
TP true positive predicted 1, actually 1 (caught real spam)
FP false positive predicted 1, actually 0 (flagged a good email)
FN false negative predicted 0, actually 1 (missed real spam)
TN true negative predicted 0, actually 0 (left a good email alone)Três números saem dessas contagens, e são eles que as equipes reais realmente relatam:
- Precision =
TP / (TP + FP). De tudo o que você sinalizou, quanto estava certo? Baixa precisão = dar alarme falso. - Recall =
TP / (TP + FN). De tudo o que você deveria ter pego, quanto você pegou? Baixa revocação = perder os casos reais. - F1 =
2 * P * R / (P + R), a média harmônica. Um número que só é alto quando AMBOS a precisão e a revocação são altos, então o modelo preguiçoso totalmente negativo (revocação 0) marca F1 = 0 e é exposto.
Trade off entre precisão e revocação: sinalize tudo e a revocação atinge 1.0 mas a precisão despenca; não sinalize nada e a precisão é indefinida mas você não captura nada. F1 mantém você honesto. Quando um denominador é zero (você não previu positivos, ou não existem nenhum), reporte essa métrica como 0.0 em vez de dividir por zero.
Construa duas funções. confusion(y_true, y_pred) retorna a tupla (tp, fp, fn, tn) sobre duas listas de rótulos 0/1 de mesmo comprimento. prf(y_true, y_pred) retorna {"precision", "recall", "f1"} calculado a partir dessas contagens (0.0 em qualquer denominador zero). Os testes ocultos conferem seus números com o scikit-learn, então as definições devem ser exatas. Pressione Run para pontuar um classificador desbalanceado.
Escreva confusion(y_true, y_pred) retornando (tp, fp, fn, tn) para duas listas de rótulos 0/1 de mesmo comprimento (1 é a classe positiva), e prf(y_true, y_pred) retornando {"precision", "recall", "f1"} onde precision = TP/(TP+FP), recall = TP/(TP+FN), e f1 = 2*P*R/(P+R). Retorne 0.0 para qualquer métrica cujo denominador seja zero (nunca divida por zero). Seus resultados são verificados contra o scikit-learn.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.