Temario Lección 163 de 250 · Evaluar RAG y la recuperación
Evaluar RAG y la recuperación

NDCG@k: relevancia graduada

La precisión, la exhaustividad y el MRR tratan la relevancia como una marca de sí o no. Pero la relevancia real tiene matices: un documento puede ser perfecto, algo útil o fuera de tema. NDCG (ganancia acumulada descontada normalizada) es la métrica para la relevancia graduada, y es la que de verdad publican los grandes equipos de búsqueda y recomendación.

Tiene tres ideas apiladas. Primero, la ganancia: cada resultado lleva una puntuación de relevancia (por ejemplo 3 = perfecto, 1 = marginal, 0 = irrelevante). Segundo, un descuento por posición, porque un gran resultado enterrado en el rango 10 ayuda menos que uno en el rango 1. La ganancia acumulada descontada suma la ganancia de cada resultado dividida por log2(position + 1):

DCG = sum( rel_i / log2(i + 1) )   for i = 1, 2, 3, ...

En la posición 1 el divisor es log2(2) = 1 (sin descuento); en la posición 2 es log2(3); y así sucesivamente, de modo que las posiciones posteriores valen cada vez menos. Tercero, la normalización: el DCG por sí solo no tiene límite y es difícil de comparar entre consultas, así que se divide por el DCG ideal (IDCG), el DCG que obtendrías si esas mismas puntuaciones de relevancia estuvieran ordenadas de mejor a peor.

NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)

Eso pone cada consulta en una escala de 0.0 a 1.0 donde 1.0 significa "ya está en el mejor orden posible". Una ordenación invertida puntúa estrictamente por debajo de 1.0; una ordenación toda a cero (nada relevante) se define como 0.0.

Qué construir.

  • dcg(rels) -> la ganancia acumulada descontada de una lista de puntuaciones de relevancia, usando math.log2(i + 1) con i empezando en 1.
  • ndcg_at_k(ranked_rels, k) -> el dcg de los k primeros dividido por el dcg de las mismas puntuaciones ordenadas de forma descendente (el ideal), los k primeros. Si el DCG ideal es 0, devuelve 0.0 en lugar de dividir por cero.

Compruébalo a mano: dcg([3, 0, 2]) es 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0. Pulsa Ejecutar para comparar un orden perfecto con uno invertido.

Tu turno

Escribe dcg(rels), que devuelva la ganancia acumulada descontada sum(rel_i / log2(i + 1)) con las posiciones i contadas desde 1. Luego escribe ndcg_at_k(ranked_rels, k, ideal_rels=None), que devuelva el dcg de los k primeros dividido por el DCG ideal: las puntuaciones de relevancia de todos los documentos evaluados, ordenadas de forma descendente, los k primeros. Salen de ideal_rels cuando se da; cuando es None, usa el propio ranked_rels (válido solo cuando la ordenación ya contiene todos los documentos relevantes). Tomar el ideal solo de la lista recuperada es un fallo clásico: un sistema que encuentra 1 de 3 documentos relevantes, en el rango 1, obtendría un 1.0 perfecto. Devuelve 0.0 cuando el DCG ideal sea 0 para que una ordenación toda a cero no divida por cero.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.