Barrera de rechazo para lo que queda fuera de alcance
Un sistema RAG que siempre responde es peligroso. Pregúntale a tu bot de soporte "¿qué tiempo hace en Tokio?" y, si responde de todos modos, ya no está fundamentado en tus documentos: está adivinando. La solución es una barrera de rechazo: antes de construir el prompt, mira lo bien que encajan de verdad los fragmentos recuperados con la pregunta. Si la mejor coincidencia es débil, probablemente los documentos no cubren la pregunta, así que lo correcto es rechazar y derivar en lugar de alucinar.
La señal que ya tienes es la similitud de recuperación más alta. Elige un umbral. Si el fragmento recuperado con mejor puntuación queda por debajo, rechaza. Es una comprobación única y barata que se sitúa entre la recuperación y la generación, y es una de las piezas más valiosas de un sistema RAG de producción: es la diferencia entre "no lo sé" y una respuesta equivocada dicha con seguridad.
contexts = [
{"text": "Refunds take five business days...", "score": 0.62},
{"text": "Shipping takes 5 to 7 days...", "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3) # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7) # -> True, top 0.62 below 0.7Qué construir. Escribe should_refuse(query, contexts, threshold), donde contexts es una lista de dicts que llevan cada uno una "score" numérica (la similitud de recuperación). Devuelve:
Truecuandocontextsestá vacío (no se recuperó nada -> no hay nada en que fundamentarse).Truecuando la puntuación más alta de los contextos es estrictamente menor quethreshold.Falseen otro caso (al menos un fragmento supera el listón).
El límite es deliberado: una puntuación exactamente igual al umbral es suficiente para responder (usa estrictamente menor que para el rechazo). Fíjate en que se pasa query porque un sistema real también puede rechazar por otras señales, pero aquí la decisión depende de las puntuaciones. Pulsa Ejecutar para ver cómo las preguntas dentro y fuera del dominio reciben veredictos distintos.
Escribe should_refuse(query, contexts, threshold), que devuelva True cuando contexts esté vacío o cuando la "score" máxima de los dicts de contexto sea estrictamente menor que threshold, y False en otro caso. Una puntuación exactamente igual al umbral NO debe rechazar.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.