Precision@k e Recall@k
Antes de ajustar um único prompt, responda a uma pergunta mais difícil: o recuperador está ao menos encontrando os documentos certos? Um sistema RAG tem duas metades, recuperação e geração, e elas falham de jeitos diferentes. Se os trechos errados voltarem, nenhum polimento de prompt salva você. Então medimos a recuperação sozinha, com base em um conjunto rotulado de documentos relevantes por consulta, com dois números que todo engenheiro de busca sabe de cor.
Precision@k pergunta: dos k primeiros documentos que retornei, que fração era realmente relevante? É a métrica de "quanto lixo eu mostrei ao usuário".
precision@k = (relevant docs in the top k) / (number of docs in the top k)Recall@k pergunta o contrário: de todos os documentos que eram relevantes, que fração consegui trazer nos k primeiros? É a métrica de "quanto eu deixei passar".
recall@k = (relevant docs in the top k) / (total number of relevant docs)Faça um exemplo concreto. Você recupera ["a", "b", "c"] e o conjunto relevante é {"a", "c"}. Com k=3, dois dos três documentos retornados são relevantes, então a precision é 2/3. Os dois documentos relevantes foram encontrados, então o recall é 1.0. Os dois andam em tensão: aumente k e o recall sobe, enquanto a precision em geral cai.
O que construir. Duas funções puras:
precision_at_k(retrieved, relevant, k)-> a fração doskprimeiros IDs recuperados que estão emrelevant. Divida pelo número de documentos que você realmente tem noskprimeiros (assim uma lista curta ou umkgrande nunca divide pelo número errado).recall_at_k(retrieved, relevant, k)-> a fração derelevantcapturada noskprimeiros, dividindo porlen(relevant).
Atenção às bordas que os testes verificam: k maior que a lista recuperada e um conjunto relevante vazio (retorne 0.0, nunca divida por zero). Trate relevant como um set para testes de pertinência rápidos. Em uma estrutura real você alimentaria isto com a saída do seu banco vetorial; aqui elas são avaliadas direto em listas rotuladas.
Uma nota sobre o escopo: este módulo cobre Precision@k, Recall@k, MRR e NDCG. Equipes de busca muitas vezes também relatam o MAP (mean average precision), que faz a média da precision medida em cada acerto relevante ao longo de um conjunto de consultas; as quatro métricas daqui são o ponto de partida mais comum.
Clique em Run para pontuar um ranking.
Escreva precision_at_k(retrieved, relevant, k) (a fração dos k primeiros IDs recuperados que estão no conjunto relevant, dividida pelo número de documentos realmente presentes nos k primeiros) e recall_at_k(retrieved, relevant, k) (a fração do conjunto relevant capturada nos k primeiros, dividida por len(relevant)). As duas precisam retornar 0.0 nas bordas vazias (recuperação vazia, conjunto relevante vazio) em vez de quebrar.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.