Evalúa el asistente (P@k + exactitud de las respuestas + barrera)
Esta es la lección que se gana la segunda mitad de tu línea del currículum: y evalué. Cualquiera puede montar una demo de RAG. Lo que separa a un junior de alguien a quien contratarías para hacerse cargo de un asistente en producción es la capacidad de medirlo y de impedir que se publique un cambio malo. Construirás el banco de evaluación y la barrera contra regresiones.
Evalúas contra un conjunto de referencia: una pequeña lista etiquetada donde cada caso tiene una consulta, los ids de los artículos relevantes y el texto de respuesta esperado. Dos familias de métricas:
- Calidad de la recuperación:
precision_at_k, de los k primeros ids que devolvió tu recuperador, qué fracción es relevante. Esto te dice si el bot está siquiera mirando los artículos correctos. - Calidad de la respuesta: exactitud de la respuesta producida frente al texto esperado, en dos modos:
contains(el fragmento esperado aparece en la respuesta, sin distinguir mayúsculas) yexact(una coincidencia exacta tras quitar espacios).containses el indulgente y realista para respuestas de texto libre.
Construye estas:
precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config) # -> a metrics dict over the whole gold set
regression_gate(old, new) # -> True if safe to ship, False if it regressedprecision_at_k: fracción de los k primeros ids recuperados que están en el conjunto relevante; 0.0 si la recuperación está vacía. answer_accuracy: 1.0 o 0.0 para una predicción, respetando el modo.
evaluate(config) lo une todo. El dict config lleva la lista gold, una función retriever (consulta -> ids ordenados), una función answerer (consulta -> texto) y los ajustes k y mode. Ejecuta cada caso de referencia y devuelve un dict con al menos n (casos puntuados), precision_at_k (media de los casos, redondeada a 4 decimales) y answer_accuracy (media, redondeada a 4). Un conjunto de referencia vacío no debe fallar: devuelve ceros.
regression_gate(old, new) es la protección de CI que conectarías a una pull request: devuelve True solo si la ejecución nueva no empeoró en la métrica vigilada (answer_accuracy por defecto); igual o mejor está bien, una bajada devuelve False. Esto es lo que, en la vida real, impide que un retoque del prompt hunda la calidad sin avisar. Pulsa Ejecutar para puntuar un bot perfecto y uno roto, y ver cómo la barrera detiene la regresión.
Construye el banco de evaluación sobre un conjunto de referencia etiquetado. precision_at_k(retrieved, relevant, k) para la recuperación y answer_accuracy(predicted, expected, mode) (contains / exact) para las respuestas. evaluate(config) ejecuta el conjunto de referencia (con las funciones retriever y answerer, k y mode) y devuelve un dict de métricas con medias (n, precision_at_k, answer_accuracy), seguro ante un conjunto vacío. regression_gate(old, new) devuelve True solo si la exactitud de las respuestas no bajó.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.