Conteúdo do curso Lição 164 de 250 · Avaliando RAG e recuperação
Avaliando RAG e recuperação

Projeto final: um relatório de avaliação de recuperação

Você tem as quatro métricas. Agora ligue-as àquilo que um engenheiro de fato entrega: um relatório de avaliação de recuperação que roda um conjunto rotulado de consultas por um recuperador e devolve um placar. Este é o artefato por trás da linha de currículo "construí e avaliei um pipeline de RAG", e é o que permite dizer "o novo recuperador subiu o MRR de 0.62 para 1.0" em vez de "parece melhor".

A estrutura tem três peças. Um conjunto de avaliação é uma lista de casos, cada um um dict como {"query": "refund policy", "relevant": {"d_refund"}}. Um recuperador é qualquer função chamável retriever(query, k) que retorna uma lista ordenada de IDs de documentos (você o passa como argumento, então o mesmo relatório pode avaliar uma base BM25, um recuperador denso ou um híbrido). E o relatório pontua cada consulta nas quatro métricas e depois agrega.

def evaluate_retrieval(eval_set, retriever, k):
    rows = []
    failures = []
    for case in eval_set:
        retrieved = retriever(case["query"], k)
        # score this query: P@k, R@k, RR, NDCG@k
        # if the reciprocal rank is 0.0, the retriever missed -> record a failure
        ...
    # roll rows into a pandas DataFrame, then return the means + the frame + failures
    ...

Para o NDCG sobre IDs recuperados, transforme o ranking em relevância graduada do jeito simples: um documento marca 1 se estiver no conjunto relevante, senão 0. Reaproveite as funções que você construiu: precision_at_k, recall_at_k, reciprocal_rank, dcg e ndcg_at_k.

O que construir. evaluate_retrieval(eval_set, retriever, k), que retorna um dict com:

  • mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k -> a média de cada métrica entre as consultas, cada uma com round para 4 casas.
  • per_query -> um pandas.DataFrame, uma linha por consulta, com as métricas dessa consulta (para você ver de relance qual consulta afundou).
  • failures -> uma lista das consultas cujo reciprocal rank foi 0.0 (o recuperador não trouxe nada relevante). Esta é sua lista de trabalho para depuração.

O avaliador confere os números agregados com valores calculados à mão, confirma que a lista de falhas nomeia a consulta não coberta e prova que um recuperador melhor marca estritamente mais -> a verificação relacional que nenhuma constante consegue falsificar. Em um sistema completo, um modelo agora responderia a partir dos trechos que o recuperador vencedor retornou, mas essa etapa de geração é a outra metade do pipeline; aqui você está avaliando a recuperação sozinha. Clique em Run para imprimir um placar.

Sua vez

Escreva evaluate_retrieval(eval_set, retriever, k). O eval_set é uma lista de dicts {"query", "relevant"}; retriever(query, k) retorna uma lista ordenada de IDs de documentos. Para cada consulta, calcule precision_at_k, recall_at_k, reciprocal_rank e ndcg_at_k (trate um documento recuperado como relevância 1 se ele estiver no conjunto relevante, senão 0, e monte o ideal a partir do conjunto relevante inteiro: um 1 por documento relevante). Retorne um dict com mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k (cada um arredondado para 4 casas), um DataFrame do pandas per_query (uma linha por consulta) e uma lista failures com toda consulta cujo reciprocal rank foi 0.0.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.