Precision@k y Recall@k
Antes de ajustar un solo prompt, responde a una pregunta más difícil: ¿está encontrando siquiera el recuperador los documentos correctos? Un sistema RAG tiene dos mitades, recuperación y generación, y fallan de formas distintas. Si vuelven los fragmentos equivocados, ningún pulido del prompt te salvará. Así que medimos la recuperación por sí sola, contra un conjunto etiquetado de documentos relevantes por consulta, con dos números que todo ingeniero de búsqueda se sabe de memoria.
Precision@k pregunta: de los k primeros documentos que devolví, ¿qué fracción era realmente relevante? Es la métrica de "cuánta basura le enseñé al usuario".
precision@k = (relevant docs in the top k) / (number of docs in the top k)Recall@k pregunta lo contrario: de todos los documentos que eran relevantes, ¿qué fracción logré sacar en los k primeros? Es la métrica de "cuánto me dejé".
recall@k = (relevant docs in the top k) / (total number of relevant docs)Trabaja un ejemplo concreto. Recuperas ["a", "b", "c"] y el conjunto relevante es {"a", "c"}. Con k=3, dos de los tres documentos devueltos son relevantes, así que la precisión es 2/3. Se encontraron los dos documentos relevantes, así que la exhaustividad es 1.0. Las dos tiran en sentidos opuestos: amplía k y la exhaustividad sube mientras la precisión suele bajar.
Qué construir. Dos funciones puras:
precision_at_k(retrieved, relevant, k)-> la fracción de loskprimeros IDs recuperados que están enrelevant. Divide por cuántos documentos tienes de verdad entre loskprimeros (para que una lista corta o unkgrande nunca dividan por el número equivocado).recall_at_k(retrieved, relevant, k)-> la fracción derelevantcapturada en loskprimeros, dividiendo porlen(relevant).
Atento a los bordes que tantean las pruebas: un k mayor que la lista recuperada y un conjunto relevante vacío (devuelve 0.0, nunca dividas por cero). Trata relevant como un set para comprobar la pertenencia rápido. En un banco de pruebas real alimentarías estas funciones con la salida de tu almacén vectorial; aquí se evalúan directamente sobre listas etiquetadas.
Una nota sobre el alcance: este módulo cubre Precision@k, Recall@k, MRR y NDCG. Los equipos de búsqueda también suelen informar de la MAP (precisión media promedio), que promedia la precisión medida en cada acierto relevante sobre un conjunto de consultas; las cuatro métricas de aquí son el punto de partida más habitual.
Pulsa Ejecutar para puntuar una ordenación.
Escribe precision_at_k(retrieved, relevant, k) (la fracción de los k primeros IDs recuperados que están en el conjunto relevant, dividida por el número de documentos que hay de verdad entre los k primeros) y recall_at_k(retrieved, relevant, k) (la fracción del conjunto relevant capturada en los k primeros, dividida por len(relevant)). Ambas deben devolver 0.0 en los bordes vacíos (recuperación vacía, conjunto relevante vacío) en lugar de fallar.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.