Mean Reciprocal Rank
Precision e recall tratam o top k como um saco: um documento relevante na posição 1 conta o mesmo que um na posição 5. Mas a posição importa. Um usuário lê de cima para baixo, e um prompt de RAG geralmente se apoia mais no primeiro trecho. O Mean Reciprocal Rank (MRR) recompensa colocar um resultado relevante no alto.
Para uma única consulta, o reciprocal rank é 1 / (rank of the first relevant doc) (a posição do primeiro documento relevante), contando as posições a partir de 1. Se o primeiro documento relevante está na posição 1, você marca 1.0; na posição 2, 0.5; na posição 3, 1/3. Se nenhum documento relevante aparece, a pontuação é 0.0. Só o primeiro acerto importa, o que é exatamente o modelo certo para "a resposta apareceu onde o usuário (ou o modelo) vai olhar?"
retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5O MRR é só a média desses reciprocal ranks em um conjunto inteiro de consultas. Duas consultas com 1.0 e 0.5 dão um MRR de 0.75. É o número principal padrão para recuperação em perguntas e respostas, em que cada consulta normalmente tem uma resposta certa que você quer trazer primeiro.
O que construir.
reciprocal_rank(retrieved, relevant)-> percorra a lista ordenada e, no momento em que encontrar um documento emrelevant, retorne1.0 / rank(as posições começam em 1). Se nunca encontrar, retorne0.0.mrr(queries)->queriesé uma lista de pares(retrieved, relevant); faça a média do reciprocal rank de cada par. Uma lista vazia retorna0.0, não um erro.
Use enumerate(retrieved, start=1) para que o índice já seja a posição. Clique em Run para pontuar duas consultas e ver a média.
Escreva reciprocal_rank(retrieved, relevant), que retorna 1.0 / (rank of the first relevant doc) com as posições contadas a partir de 1, ou 0.0 se nenhum documento relevante for recuperado. Depois escreva mrr(queries), em que queries é uma lista de pares (retrieved, relevant), retornando a média dos reciprocal ranks deles (e 0.0 para uma lista vazia).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.