NDCG@k: relevância graduada
Precision, recall e MRR tratam a relevância como um sim/não. Mas a relevância real tem nuances: um documento pode ser perfeito, meio útil ou fora do assunto. O NDCG (Normalized Discounted Cumulative Gain) é a métrica para relevância graduada, e é a que grandes equipes de busca e recomendação de fato relatam.
Ele empilha três ideias. Primeiro, o ganho: cada resultado carrega uma pontuação de relevância (digamos 3 = perfeito, 1 = marginal, 0 = irrelevante). Segundo, um desconto pela posição, porque um ótimo resultado enterrado na posição 10 ajuda menos do que um na posição 1. O Discounted Cumulative Gain soma o ganho de cada resultado dividido por log2(position + 1):
DCG = sum( rel_i / log2(i + 1) ) for i = 1, 2, 3, ...Na posição 1 o divisor é log2(2) = 1 (sem desconto); na posição 2 é log2(3); e assim por diante, então as posições mais baixas valem cada vez menos. Terceiro, a normalização: o DCG sozinho não tem limite e é difícil de comparar entre consultas, então divida pelo DCG ideal (IDCG), o DCG que você teria se essas mesmas pontuações de relevância estivessem ordenadas da melhor para a pior.
NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)Isso coloca toda consulta em uma escala de 0.0 a 1.0, em que 1.0 significa "já está na melhor ordem possível". Um ranking invertido marca estritamente abaixo de 1.0; um ranking todo zero (nada relevante) é definido como 0.0.
O que construir.
dcg(rels)-> o discounted cumulative gain de uma lista de pontuações de relevância, usandomath.log2(i + 1)comicomeçando em 1.ndcg_at_k(ranked_rels, k)-> odcgdo topkdividido pelodcgdas mesmas pontuações ordenadas de forma decrescente (o ideal), topk. Se o DCG ideal for0, retorne0.0em vez de dividir por zero.
Confira um à mão: dcg([3, 0, 2]) é 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0. Clique em Run para comparar uma ordenação perfeita com uma invertida.
Escreva dcg(rels), que retorna o discounted cumulative gain sum(rel_i / log2(i + 1)) com as posições i contadas a partir de 1. Depois escreva ndcg_at_k(ranked_rels, k, ideal_rels=None), que retorna o dcg do top k dividido pelo DCG ideal: as pontuações de relevância de todos os documentos avaliados, ordenadas de forma decrescente, top k. Elas vêm de ideal_rels quando ele é dado; quando é None, use o próprio ranked_rels (o que só está certo quando o ranking já contém todos os documentos relevantes). Tirar o ideal apenas da lista recuperada é um bug clássico: um sistema que encontra 1 de 3 documentos relevantes, na posição 1, teria nota perfeita 1.0. Retorne 0.0 quando o DCG ideal for 0, para que um ranking todo zero não divida por zero.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.