Conteúdo do curso Lição 161 de 250 · Avaliando RAG e recuperação
Avaliando RAG e recuperação

Precision@k e Recall@k

Antes de ajustar um único prompt, responda a uma pergunta mais difícil: o recuperador está ao menos encontrando os documentos certos? Um sistema RAG tem duas metades, recuperação e geração, e elas falham de jeitos diferentes. Se os trechos errados voltarem, nenhum polimento de prompt salva você. Então medimos a recuperação sozinha, com base em um conjunto rotulado de documentos relevantes por consulta, com dois números que todo engenheiro de busca sabe de cor.

Precision@k pergunta: dos k primeiros documentos que retornei, que fração era realmente relevante? É a métrica de "quanto lixo eu mostrei ao usuário".

precision@k = (relevant docs in the top k) / (number of docs in the top k)

Recall@k pergunta o contrário: de todos os documentos que eram relevantes, que fração consegui trazer nos k primeiros? É a métrica de "quanto eu deixei passar".

recall@k = (relevant docs in the top k) / (total number of relevant docs)

Faça um exemplo concreto. Você recupera ["a", "b", "c"] e o conjunto relevante é {"a", "c"}. Com k=3, dois dos três documentos retornados são relevantes, então a precision é 2/3. Os dois documentos relevantes foram encontrados, então o recall é 1.0. Os dois andam em tensão: aumente k e o recall sobe, enquanto a precision em geral cai.

O que construir. Duas funções puras:

  • precision_at_k(retrieved, relevant, k) -> a fração dos k primeiros IDs recuperados que estão em relevant. Divida pelo número de documentos que você realmente tem nos k primeiros (assim uma lista curta ou um k grande nunca divide pelo número errado).
  • recall_at_k(retrieved, relevant, k) -> a fração de relevant capturada nos k primeiros, dividindo por len(relevant).

Atenção às bordas que os testes verificam: k maior que a lista recuperada e um conjunto relevante vazio (retorne 0.0, nunca divida por zero). Trate relevant como um set para testes de pertinência rápidos. Em uma estrutura real você alimentaria isto com a saída do seu banco vetorial; aqui elas são avaliadas direto em listas rotuladas.

Uma nota sobre o escopo: este módulo cobre Precision@k, Recall@k, MRR e NDCG. Equipes de busca muitas vezes também relatam o MAP (mean average precision), que faz a média da precision medida em cada acerto relevante ao longo de um conjunto de consultas; as quatro métricas daqui são o ponto de partida mais comum.

Clique em Run para pontuar um ranking.

Sua vez

Escreva precision_at_k(retrieved, relevant, k) (a fração dos k primeiros IDs recuperados que estão no conjunto relevant, dividida pelo número de documentos realmente presentes nos k primeiros) e recall_at_k(retrieved, relevant, k) (a fração do conjunto relevant capturada nos k primeiros, dividida por len(relevant)). As duas precisam retornar 0.0 nas bordas vazias (recuperação vazia, conjunto relevante vazio) em vez de quebrar.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.