Conteúdo do curso Lição 163 de 250 · Avaliando RAG e recuperação
Avaliando RAG e recuperação

NDCG@k: relevância graduada

Precision, recall e MRR tratam a relevância como um sim/não. Mas a relevância real tem nuances: um documento pode ser perfeito, meio útil ou fora do assunto. O NDCG (Normalized Discounted Cumulative Gain) é a métrica para relevância graduada, e é a que grandes equipes de busca e recomendação de fato relatam.

Ele empilha três ideias. Primeiro, o ganho: cada resultado carrega uma pontuação de relevância (digamos 3 = perfeito, 1 = marginal, 0 = irrelevante). Segundo, um desconto pela posição, porque um ótimo resultado enterrado na posição 10 ajuda menos do que um na posição 1. O Discounted Cumulative Gain soma o ganho de cada resultado dividido por log2(position + 1):

DCG = sum( rel_i / log2(i + 1) )   for i = 1, 2, 3, ...

Na posição 1 o divisor é log2(2) = 1 (sem desconto); na posição 2 é log2(3); e assim por diante, então as posições mais baixas valem cada vez menos. Terceiro, a normalização: o DCG sozinho não tem limite e é difícil de comparar entre consultas, então divida pelo DCG ideal (IDCG), o DCG que você teria se essas mesmas pontuações de relevância estivessem ordenadas da melhor para a pior.

NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)

Isso coloca toda consulta em uma escala de 0.0 a 1.0, em que 1.0 significa "já está na melhor ordem possível". Um ranking invertido marca estritamente abaixo de 1.0; um ranking todo zero (nada relevante) é definido como 0.0.

O que construir.

  • dcg(rels) -> o discounted cumulative gain de uma lista de pontuações de relevância, usando math.log2(i + 1) com i começando em 1.
  • ndcg_at_k(ranked_rels, k) -> o dcg do top k dividido pelo dcg das mesmas pontuações ordenadas de forma decrescente (o ideal), top k. Se o DCG ideal for 0, retorne 0.0 em vez de dividir por zero.

Confira um à mão: dcg([3, 0, 2]) é 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0. Clique em Run para comparar uma ordenação perfeita com uma invertida.

Sua vez

Escreva dcg(rels), que retorna o discounted cumulative gain sum(rel_i / log2(i + 1)) com as posições i contadas a partir de 1. Depois escreva ndcg_at_k(ranked_rels, k, ideal_rels=None), que retorna o dcg do top k dividido pelo DCG ideal: as pontuações de relevância de todos os documentos avaliados, ordenadas de forma decrescente, top k. Elas vêm de ideal_rels quando ele é dado; quando é None, use o próprio ranked_rels (o que só está certo quando o ranking já contém todos os documentos relevantes). Tirar o ideal apenas da lista recuperada é um bug clássico: um sistema que encontra 1 de 3 documentos relevantes, na posição 1, teria nota perfeita 1.0. Retorne 0.0 quando o DCG ideal for 0, para que um ranking todo zero não divida por zero.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.