Conteúdo do curso Lição 162 de 250 · Avaliando RAG e recuperação
Avaliando RAG e recuperação

Mean Reciprocal Rank

Precision e recall tratam o top k como um saco: um documento relevante na posição 1 conta o mesmo que um na posição 5. Mas a posição importa. Um usuário lê de cima para baixo, e um prompt de RAG geralmente se apoia mais no primeiro trecho. O Mean Reciprocal Rank (MRR) recompensa colocar um resultado relevante no alto.

Para uma única consulta, o reciprocal rank é 1 / (rank of the first relevant doc) (a posição do primeiro documento relevante), contando as posições a partir de 1. Se o primeiro documento relevante está na posição 1, você marca 1.0; na posição 2, 0.5; na posição 3, 1/3. Se nenhum documento relevante aparece, a pontuação é 0.0. Só o primeiro acerto importa, o que é exatamente o modelo certo para "a resposta apareceu onde o usuário (ou o modelo) vai olhar?"

retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5

O MRR é só a média desses reciprocal ranks em um conjunto inteiro de consultas. Duas consultas com 1.0 e 0.5 dão um MRR de 0.75. É o número principal padrão para recuperação em perguntas e respostas, em que cada consulta normalmente tem uma resposta certa que você quer trazer primeiro.

O que construir.

  • reciprocal_rank(retrieved, relevant) -> percorra a lista ordenada e, no momento em que encontrar um documento em relevant, retorne 1.0 / rank (as posições começam em 1). Se nunca encontrar, retorne 0.0.
  • mrr(queries) -> queries é uma lista de pares (retrieved, relevant); faça a média do reciprocal rank de cada par. Uma lista vazia retorna 0.0, não um erro.

Use enumerate(retrieved, start=1) para que o índice já seja a posição. Clique em Run para pontuar duas consultas e ver a média.

Sua vez

Escreva reciprocal_rank(retrieved, relevant), que retorna 1.0 / (rank of the first relevant doc) com as posições contadas a partir de 1, ou 0.0 se nenhum documento relevante for recuperado. Depois escreva mrr(queries), em que queries é uma lista de pares (retrieved, relevant), retornando a média dos reciprocal ranks deles (e 0.0 para uma lista vazia).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.