Conteúdo do curso Lição 104 de 246 · Módulo 9: É realmente melhor?
Módulo 9: É realmente melhor?

Além da acurácia

Por que isso importa Em um teste de doença rara onde 95% das pessoas estão saudáveis, um modelo que sempre diz "saudável" marca 95% de acurácia e é inútil.

A confusion matrix conta, para cada classe verdadeira, com que frequência cada classe foi prevista: linha = verdade, coluna = previsão. A partir dela, para uma classe que te interessa:

  • Precisão: das vezes que o modelo disse "positivo", com que frequência ele estava certo?
  • Recall: dos reais positivos, quantos o modelo encontrou?

Números pequenos

100 pessoas, 5 doentes. O modelo preguiçoso diz saudável para todos: acurácia 95%, revocação 0 de 5 = 0. Um modelo real sinaliza 8 pessoas, 4 delas doentes: precisão 4/8 = 0.5, revocação 4/5 = 0.8, e acurácia (4 + 91) / 100 = 95%. Mesma acurácia, utilidade completamente diferente.

Palavras e símbolos nesta lição
matriz de confusão
contagens da classe verdadeira (linha) contra a classe prevista (coluna)
precisão, revocação
do que ele sinalizou, quanto estava certo; do que havia lá, quanto ele encontrou
Sua vez

Escreva confusion(y_true, y_pred, k) (uma matriz k por k de contagens) e precision_recall(y_true, y_pred, positive) retornando um par (use 0.0 quando não houver nada para dividir).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.