Programma Lezione 168 di 250 · Valutazioni e test degli LLM
Valutazioni e test degli LLM

Accuratezza contro precision/recall/F1 per la classificazione

Una grandissima parte del lavoro con gli LLM è in realtà classificazione: instrada questo ticket, etichetta questo sentimento, segnala questo messaggio come spam. Per queste cose, l'accuratezza da sola è una trappola. Costruisci un filtro antispam su una casella che è al 95% posta buona e un modello che etichetta tutto come posta buona ottiene un'accuratezza del 95% senza beccare nemmeno uno spam. Il numero sembra ottimo; il prodotto è inutile. Per vederlo, ti servono precision, recall e F1 separate per la classe che ti interessa davvero.

Scegli una classe positiva (per esempio spam) e conta quattro cesti:

  • TP veri positivi: previsto spam, era spam.
  • FP falsi positivi: previsto spam, era posta buona (una buona email mandata nella posta indesiderata).
  • FN falsi negativi: prevista posta buona, era spam (spam che è passato).
precision = TP / (TP + FP)   # of what I flagged, how much was right
recall    = TP / (TP + FN)   # of the real positives, how many I caught
f1        = 2 * P * R / (P + R)
accuracy  = correct / total  # all classes, all predictions

Queste tirano in direzioni diverse. Segnala in modo aggressivo e la recall sale mentre la precision scende; segnala in modo prudente e succede il contrario. L'F1 è l'unico numero che non lascia crollare nessuna delle due. Su un insieme sbilanciato, accuratezza e F1 divergono molto, ed è proprio per questo che si calcolano separatamente.

Le implementerai a mano perché vale la pena conoscere le formule a memoria per i colloqui. Ma non dovresti mai rilasciare metriche fatte in casa quando esiste una libreria testata, quindi i test controllano anche i tuoi numeri con precision_score, recall_score e f1_score di scikit-learn. Se coincidi con sklearn, l'hai implementata bene.

from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")

Che cosa costruire. classification_metrics(y_true, y_pred, positive_label) che restituisce un dict {"accuracy", "precision", "recall", "f1"}, ognuno arrotondato con round a 4 cifre. Proteggi i casi con denominatore zero (nessun positivo previsto, nessun positivo reale) restituendo 0.0 per quella metrica invece di dividere per zero. Premi Run per stampare un resoconto e guardare accuratezza e F1 non andare d'accordo su un insieme sbilanciato.

Tocca a te

Scrivi classification_metrics(y_true, y_pred, positive_label) che restituisce {'accuracy', 'precision', 'recall', 'f1'} per la classe positiva scelta, ognuno arrotondato con round a 4 cifre. Conta TP/FP/FN rispetto a positive_label; precision = TP/(TP+FP), recall = TP/(TP+FN), f1 = la media armonica, accuracy = giuste/totale. Restituisci 0.0 per qualsiasi metrica il cui denominatore è zero. I tuoi numeri devono coincidere con precision_score/recall_score/f1_score di scikit-learn.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.