Rango recíproco medio
La precisión y la exhaustividad tratan los k primeros como una bolsa: un documento relevante en la posición 1 cuenta lo mismo que uno en la posición 5. Pero el rango importa. Un usuario lee desde arriba, y un prompt de RAG suele apoyarse sobre todo en el primer fragmento. El rango recíproco medio (MRR) premia conseguir un resultado relevante arriba.
Para una sola consulta, el rango recíproco es 1 / (rank of the first relevant doc), contando los rangos desde 1. Si el primer documento relevante está en la posición 1, puntúas 1.0; en la posición 2, 0.5; en la posición 3, 1/3. Si no aparece ningún documento relevante, la puntuación es 0.0. Solo importa el primer acierto, que es justo el modelo correcto para "¿apareció la respuesta donde el usuario (o el modelo) va a mirar?".
retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5El MRR no es más que la media de esos rangos recíprocos sobre todo un conjunto de consultas. Dos consultas que puntúan 1.0 y 0.5 dan un MRR de 0.75. Es la cifra principal estándar para la recuperación en preguntas y respuestas, donde cada consulta suele tener una respuesta correcta que quieres que salga primero.
Qué construir.
reciprocal_rank(retrieved, relevant)-> recorre la lista ordenada y, en cuanto encuentres un documento derelevant, devuelve1.0 / rank(los rangos empiezan en 1). Si nunca encuentras ninguno, devuelve0.0.mrr(queries)->querieses una lista de pares(retrieved, relevant); promedia el rango recíproco de cada par. Una lista vacía devuelve0.0, no un fallo.
Usa enumerate(retrieved, start=1) para que el índice ya sea el rango. Pulsa Ejecutar para puntuar dos consultas y ver la media.
Escribe reciprocal_rank(retrieved, relevant), que devuelva 1.0 / (rank of the first relevant doc) con los rangos contados desde 1, o 0.0 si no se recupera ningún documento relevante. Luego escribe mrr(queries), donde queries es una lista de pares (retrieved, relevant), que devuelva la media de sus rangos recíprocos (y 0.0 para una lista vacía).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.