Accuratezza contro precision/recall/F1 per la classificazione
Una grandissima parte del lavoro con gli LLM è in realtà classificazione: instrada questo ticket, etichetta questo sentimento, segnala questo messaggio come spam. Per queste cose, l'accuratezza da sola è una trappola. Costruisci un filtro antispam su una casella che è al 95% posta buona e un modello che etichetta tutto come posta buona ottiene un'accuratezza del 95% senza beccare nemmeno uno spam. Il numero sembra ottimo; il prodotto è inutile. Per vederlo, ti servono precision, recall e F1 separate per la classe che ti interessa davvero.
Scegli una classe positiva (per esempio spam) e conta quattro cesti:
- TP veri positivi: previsto spam, era spam.
- FP falsi positivi: previsto spam, era posta buona (una buona email mandata nella posta indesiderata).
- FN falsi negativi: prevista posta buona, era spam (spam che è passato).
precision = TP / (TP + FP) # of what I flagged, how much was right
recall = TP / (TP + FN) # of the real positives, how many I caught
f1 = 2 * P * R / (P + R)
accuracy = correct / total # all classes, all predictionsQueste tirano in direzioni diverse. Segnala in modo aggressivo e la recall sale mentre la precision scende; segnala in modo prudente e succede il contrario. L'F1 è l'unico numero che non lascia crollare nessuna delle due. Su un insieme sbilanciato, accuratezza e F1 divergono molto, ed è proprio per questo che si calcolano separatamente.
Le implementerai a mano perché vale la pena conoscere le formule a memoria per i colloqui. Ma non dovresti mai rilasciare metriche fatte in casa quando esiste una libreria testata, quindi i test controllano anche i tuoi numeri con precision_score, recall_score e f1_score di scikit-learn. Se coincidi con sklearn, l'hai implementata bene.
from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")Che cosa costruire. classification_metrics(y_true, y_pred, positive_label) che restituisce un dict {"accuracy", "precision", "recall", "f1"}, ognuno arrotondato con round a 4 cifre. Proteggi i casi con denominatore zero (nessun positivo previsto, nessun positivo reale) restituendo 0.0 per quella metrica invece di dividere per zero. Premi Run per stampare un resoconto e guardare accuratezza e F1 non andare d'accordo su un insieme sbilanciato.
Scrivi classification_metrics(y_true, y_pred, positive_label) che restituisce {'accuracy', 'precision', 'recall', 'f1'} per la classe positiva scelta, ognuno arrotondato con round a 4 cifre. Conta TP/FP/FN rispetto a positive_label; precision = TP/(TP+FP), recall = TP/(TP+FN), f1 = la media armonica, accuracy = giuste/totale. Restituisci 0.0 per qualsiasi metrica il cui denominatore è zero. I tuoi numeri devono coincidere con precision_score/recall_score/f1_score di scikit-learn.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.