Acurácia vs Precisão/Revocação/F1 para Classificação
Uma grande parte do trabalho de LLM é realmente classification: encaminhe este ticket, rotule este sentimento, marque esta mensagem como spam. Para esses, acurácia sozinha é uma armadilha. Construa um filtro de spam em uma caixa de entrada que é 95% ham e um modelo que rotula everything ham marca 95% de acurácia enquanto captura zero spam. O número parece ótimo; o produto é inútil. Para ver isso, você precisa de precisão, revocação e F1 detalhados para a classe com a qual você realmente se importa.
Escolha uma classe positive (digamos spam) e conte quatro baldes:
- TP verdadeiros positivos: previsto como spam, era spam.
- FP falsos positivos: spam previsto, era ham (um bom e-mail enviado para o lixo).
- FN falsos negativos: previsto como ham, era spam (spam que passou).
precision = TP / (TP + FP) # of what I flagged, how much was right
recall = TP / (TP + FN) # of the real positives, how many I caught
f1 = 2 * P * R / (P + R)
accuracy = correct / total # all classes, all predictionsEles puxam em direções diferentes. Marcar agressivamente e a revocação sobem enquanto a precisão cai; marcar conservadoramente e o inverso acontece. F1 é o número único que se recusa a deixar qualquer um colapsar. Em um conjunto desbalanceado, a acurácia e F1 divergem muito, que é todo o ponto de computá-los separadamente.
Você vai implementar isso manualmente porque as fórmulas valem a pena saber de cor para entrevistas. Mas você nunca deve ship métricas feitas à mão quando uma biblioteca testada existe, então os testes também verificam seus números contra o scikit-learn's precision_score, recall_score, e f1_score. Se você bater com o sklearn, você implementou corretamente.
from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")O que construir. classification_metrics(y_true, y_pred, positive_label) retornar um dict {"accuracy", "precision", "recall", "f1"}, cada rounded para 4 lugares. Proteja os casos de denominador zero (sem positivos previstos, sem positivos reais) retornando 0.0 para essa métrica em vez de dividir por zero. Pressione Run para imprimir um relatório e observar a accuracy e F1 discordarem em um conjunto desbalanceado.
Escreva classification_metrics(y_true, y_pred, positive_label) retornando {'accuracy', 'precision', 'recall', 'f1'} para a classe positiva escolhida, cada round com 4 casas decimais. Conte TP/FP/FN contra positive_label; precision = TP/(TP+FP), recall = TP/(TP+FN), f1 = a média harmônica, accuracy = correto/total. Retorne 0.0 para qualquer métrica cujo denominador seja zero. Seus números devem coincidir com o precision_score/recall_score/f1_score do scikit-learn.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.