Conteúdo do curso Lição 168 de 250 · Avaliações e Testes de LLM
Avaliações e Testes de LLM

Acurácia vs Precisão/Revocação/F1 para Classificação

Uma grande parte do trabalho de LLM é realmente classification: encaminhe este ticket, rotule este sentimento, marque esta mensagem como spam. Para esses, acurácia sozinha é uma armadilha. Construa um filtro de spam em uma caixa de entrada que é 95% ham e um modelo que rotula everything ham marca 95% de acurácia enquanto captura zero spam. O número parece ótimo; o produto é inútil. Para ver isso, você precisa de precisão, revocação e F1 detalhados para a classe com a qual você realmente se importa.

Escolha uma classe positive (digamos spam) e conte quatro baldes:

  • TP verdadeiros positivos: previsto como spam, era spam.
  • FP falsos positivos: spam previsto, era ham (um bom e-mail enviado para o lixo).
  • FN falsos negativos: previsto como ham, era spam (spam que passou).
precision = TP / (TP + FP)   # of what I flagged, how much was right
recall    = TP / (TP + FN)   # of the real positives, how many I caught
f1        = 2 * P * R / (P + R)
accuracy  = correct / total  # all classes, all predictions

Eles puxam em direções diferentes. Marcar agressivamente e a revocação sobem enquanto a precisão cai; marcar conservadoramente e o inverso acontece. F1 é o número único que se recusa a deixar qualquer um colapsar. Em um conjunto desbalanceado, a acurácia e F1 divergem muito, que é todo o ponto de computá-los separadamente.

Você vai implementar isso manualmente porque as fórmulas valem a pena saber de cor para entrevistas. Mas você nunca deve ship métricas feitas à mão quando uma biblioteca testada existe, então os testes também verificam seus números contra o scikit-learn's precision_score, recall_score, e f1_score. Se você bater com o sklearn, você implementou corretamente.

from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")

O que construir. classification_metrics(y_true, y_pred, positive_label) retornar um dict {"accuracy", "precision", "recall", "f1"}, cada rounded para 4 lugares. Proteja os casos de denominador zero (sem positivos previstos, sem positivos reais) retornando 0.0 para essa métrica em vez de dividir por zero. Pressione Run para imprimir um relatório e observar a accuracy e F1 discordarem em um conjunto desbalanceado.

Sua vez

Escreva classification_metrics(y_true, y_pred, positive_label) retornando {'accuracy', 'precision', 'recall', 'f1'} para a classe positiva escolhida, cada round com 4 casas decimais. Conte TP/FP/FN contra positive_label; precision = TP/(TP+FP), recall = TP/(TP+FN), f1 = a média harmônica, accuracy = correto/total. Retorne 0.0 para qualquer métrica cujo denominador seja zero. Seus números devem coincidir com o precision_score/recall_score/f1_score do scikit-learn.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.