Projeto final: um relatório de avaliação de recuperação
Você tem as quatro métricas. Agora ligue-as àquilo que um engenheiro de fato entrega: um relatório de avaliação de recuperação que roda um conjunto rotulado de consultas por um recuperador e devolve um placar. Este é o artefato por trás da linha de currículo "construí e avaliei um pipeline de RAG", e é o que permite dizer "o novo recuperador subiu o MRR de 0.62 para 1.0" em vez de "parece melhor".
A estrutura tem três peças. Um conjunto de avaliação é uma lista de casos, cada um um dict como {"query": "refund policy", "relevant": {"d_refund"}}. Um recuperador é qualquer função chamável retriever(query, k) que retorna uma lista ordenada de IDs de documentos (você o passa como argumento, então o mesmo relatório pode avaliar uma base BM25, um recuperador denso ou um híbrido). E o relatório pontua cada consulta nas quatro métricas e depois agrega.
def evaluate_retrieval(eval_set, retriever, k):
rows = []
failures = []
for case in eval_set:
retrieved = retriever(case["query"], k)
# score this query: P@k, R@k, RR, NDCG@k
# if the reciprocal rank is 0.0, the retriever missed -> record a failure
...
# roll rows into a pandas DataFrame, then return the means + the frame + failures
...Para o NDCG sobre IDs recuperados, transforme o ranking em relevância graduada do jeito simples: um documento marca 1 se estiver no conjunto relevante, senão 0. Reaproveite as funções que você construiu: precision_at_k, recall_at_k, reciprocal_rank, dcg e ndcg_at_k.
O que construir. evaluate_retrieval(eval_set, retriever, k), que retorna um dict com:
mean_precision_at_k,mean_recall_at_k,mrr,mean_ndcg_at_k-> a média de cada métrica entre as consultas, cada uma comroundpara 4 casas.per_query-> umpandas.DataFrame, uma linha por consulta, com as métricas dessa consulta (para você ver de relance qual consulta afundou).failures-> uma lista das consultas cujo reciprocal rank foi0.0(o recuperador não trouxe nada relevante). Esta é sua lista de trabalho para depuração.
O avaliador confere os números agregados com valores calculados à mão, confirma que a lista de falhas nomeia a consulta não coberta e prova que um recuperador melhor marca estritamente mais -> a verificação relacional que nenhuma constante consegue falsificar. Em um sistema completo, um modelo agora responderia a partir dos trechos que o recuperador vencedor retornou, mas essa etapa de geração é a outra metade do pipeline; aqui você está avaliando a recuperação sozinha. Clique em Run para imprimir um placar.
Escreva evaluate_retrieval(eval_set, retriever, k). O eval_set é uma lista de dicts {"query", "relevant"}; retriever(query, k) retorna uma lista ordenada de IDs de documentos. Para cada consulta, calcule precision_at_k, recall_at_k, reciprocal_rank e ndcg_at_k (trate um documento recuperado como relevância 1 se ele estiver no conjunto relevante, senão 0, e monte o ideal a partir do conjunto relevante inteiro: um 1 por documento relevante). Retorne um dict com mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k (cada um arredondado para 4 casas), um DataFrame do pandas per_query (uma linha por consulta) e uma lista failures com toda consulta cujo reciprocal rank foi 0.0.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.