NDCG@k: pertinenza graduata
Precision, recall e MRR trattano tutte la pertinenza come un sì o un no. Ma la pertinenza vera ha delle sfumature: un documento può essere perfetto, abbastanza utile o fuori tema. L'NDCG (Normalized Discounted Cumulative Gain) è la metrica per la pertinenza graduata, ed è quella che riportano davvero i grandi team di ricerca e di raccomandazione.
Ha tre idee impilate. Primo, il guadagno: ogni risultato porta un punteggio di pertinenza (per esempio 3 = perfetto, 1 = marginale, 0 = non pertinente). Secondo, uno sconto per posizione, perché un ottimo risultato sepolto in posizione 10 aiuta meno di uno in posizione 1. Il Discounted Cumulative Gain somma il guadagno di ogni risultato diviso per log2(position + 1):
DCG = sum( rel_i / log2(i + 1) ) for i = 1, 2, 3, ...In posizione 1 il divisore è log2(2) = 1 (nessuno sconto); in posizione 2 è log2(3); e così via, quindi le posizioni successive valgono via via meno. Terzo, la normalizzazione: il DCG da solo non ha limiti ed è difficile da confrontare tra query diverse, quindi dividi per il DCG ideale (IDCG), il DCG che otterresti se quegli stessi punteggi di pertinenza fossero ordinati dal migliore al peggiore.
NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)Questo mette ogni query su una scala da 0.0 a 1.0 dove 1.0 significa "già nel miglior ordine possibile". Un ordinamento rovesciato ottiene strettamente meno di 1.0; un ordinamento tutto zero (niente di pertinente) è definito come 0.0.
Che cosa costruire.
dcg(rels)-> il discounted cumulative gain di una lista di punteggi di pertinenza, usandomath.log2(i + 1)coniche parte da 1.ndcg_at_k(ranked_rels, k)-> ildcgdei primikdiviso per ildcgdegli stessi punteggi ordinati in modo decrescente (l'ideale), primik. Se il DCG ideale vale0, restituisci0.0invece di dividere per zero.
Controllane uno a mano: dcg([3, 0, 2]) vale 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0. Premi Run per confrontare un ordine perfetto con uno rovesciato.
Scrivi dcg(rels) che restituisce il discounted cumulative gain sum(rel_i / log2(i + 1)) con le posizioni i contate da 1. Poi scrivi ndcg_at_k(ranked_rels, k, ideal_rels=None) che restituisce il dcg dei primi k diviso per il DCG ideale: i punteggi di pertinenza di ogni documento giudicato, ordinati in modo decrescente, primi k. Vengono da ideal_rels quando è dato; quando è None, usa ranked_rels stesso (va bene solo quando l'ordinamento contiene già ogni documento pertinente). Prendere l'ideale dalla sola lista recuperata è un bug classico: un sistema che trova 1 documento pertinente su 3, in posizione 1, otterrebbe un perfetto 1.0. return 0.0 quando il DCG ideale vale 0 così un ordinamento tutto zero non divide per zero.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.