Proyecto final: un informe de evaluación de la recuperación
Tienes las cuatro métricas. Ahora conéctalas a lo que un ingeniero entrega de verdad: un informe de evaluación de la recuperación que pasa un conjunto de consultas etiquetado por un recuperador y devuelve un cuadro de resultados. Este es el artefacto detrás de la línea del currículum "construí y evalué una canalización RAG", y es lo que te permite decir "el nuevo recuperador subió el MRR de 0.62 a 1.0" en lugar de "parece que va mejor".
El banco de pruebas tiene tres piezas móviles. Un conjunto de evaluación es una lista de casos, cada uno un dict como {"query": "refund policy", "relevant": {"d_refund"}}. Un recuperador es cualquier invocable retriever(query, k) que devuelva una lista ordenada de IDs de documentos (tú lo pasas, así que el mismo informe puede evaluar una línea base BM25, un recuperador denso o uno híbrido). Y el informe puntúa cada consulta en las cuatro métricas y luego las agrega.
def evaluate_retrieval(eval_set, retriever, k):
rows = []
failures = []
for case in eval_set:
retrieved = retriever(case["query"], k)
# score this query: P@k, R@k, RR, NDCG@k
# if the reciprocal rank is 0.0, the retriever missed -> record a failure
...
# roll rows into a pandas DataFrame, then return the means + the frame + failures
...Para el NDCG sobre IDs recuperados, convierte la ordenación en relevancia graduada de la forma sencilla: un documento puntúa 1 si está en el conjunto relevante, y 0 si no. Reutiliza las funciones que construiste: precision_at_k, recall_at_k, reciprocal_rank, dcg y ndcg_at_k.
Qué construir. evaluate_retrieval(eval_set, retriever, k), que devuelva un dict con:
mean_precision_at_k,mean_recall_at_k,mrr,mean_ndcg_at_k-> la media de cada métrica entre las consultas, cada una redondeada conrounda 4 decimales.per_query-> unpandas.DataFrame, una fila por consulta, con las métricas de esa consulta (para que puedas ver a ojo qué consulta se hundió).failures-> una lista de las consultas cuyo rango recíproco fue0.0(el recuperador no sacó nada relevante). Esta es tu lista de tareas de depuración.
El evaluador comprueba los números agregados contra valores calculados a mano, confirma que la lista de fallos nombra la consulta no cubierta, y demuestra que un recuperador mejor puntúa estrictamente más alto -> la comprobación relacional que ninguna constante puede falsear. En un sistema completo, un modelo respondería ahora a partir de los fragmentos que devolvió el recuperador ganador, pero ese paso de generación es la otra mitad de la canalización; aquí evalúas la recuperación por sí sola. Pulsa Ejecutar para imprimir un cuadro de resultados.
Escribe evaluate_retrieval(eval_set, retriever, k). El eval_set es una lista de dicts {"query", "relevant"}; retriever(query, k) devuelve una lista ordenada de IDs de documentos. Para cada consulta, puntúa precision_at_k, recall_at_k, reciprocal_rank y ndcg_at_k (trata un documento recuperado como relevancia 1 si está en el conjunto relevante y 0 si no, y construye el ideal a partir de todo el conjunto relevante: un 1 por documento relevante). Devuelve un dict con mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k (cada uno redondeado a 4 decimales), un DataFrame de pandas per_query (una fila por consulta) y una lista failures con cada consulta cuyo rango recíproco fue 0.0.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.