Temario Lección 162 de 250 · Evaluar RAG y la recuperación
Evaluar RAG y la recuperación

Rango recíproco medio

La precisión y la exhaustividad tratan los k primeros como una bolsa: un documento relevante en la posición 1 cuenta lo mismo que uno en la posición 5. Pero el rango importa. Un usuario lee desde arriba, y un prompt de RAG suele apoyarse sobre todo en el primer fragmento. El rango recíproco medio (MRR) premia conseguir un resultado relevante arriba.

Para una sola consulta, el rango recíproco es 1 / (rank of the first relevant doc), contando los rangos desde 1. Si el primer documento relevante está en la posición 1, puntúas 1.0; en la posición 2, 0.5; en la posición 3, 1/3. Si no aparece ningún documento relevante, la puntuación es 0.0. Solo importa el primer acierto, que es justo el modelo correcto para "¿apareció la respuesta donde el usuario (o el modelo) va a mirar?".

retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5

El MRR no es más que la media de esos rangos recíprocos sobre todo un conjunto de consultas. Dos consultas que puntúan 1.0 y 0.5 dan un MRR de 0.75. Es la cifra principal estándar para la recuperación en preguntas y respuestas, donde cada consulta suele tener una respuesta correcta que quieres que salga primero.

Qué construir.

  • reciprocal_rank(retrieved, relevant) -> recorre la lista ordenada y, en cuanto encuentres un documento de relevant, devuelve 1.0 / rank (los rangos empiezan en 1). Si nunca encuentras ninguno, devuelve 0.0.
  • mrr(queries) -> queries es una lista de pares (retrieved, relevant); promedia el rango recíproco de cada par. Una lista vacía devuelve 0.0, no un fallo.

Usa enumerate(retrieved, start=1) para que el índice ya sea el rango. Pulsa Ejecutar para puntuar dos consultas y ver la media.

Tu turno

Escribe reciprocal_rank(retrieved, relevant), que devuelva 1.0 / (rank of the first relevant doc) con los rangos contados desde 1, o 0.0 si no se recupera ningún documento relevante. Luego escribe mrr(queries), donde queries es una lista de pares (retrieved, relevant), que devuelva la media de sus rangos recíprocos (y 0.0 para una lista vacía).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.