Garde-fou de refus hors sujet
Un système RAG qui répond toujours est dangereux. Demande à ton bot de support "what is the weather in Tokyo?" et, s'il répond quand même, il n'est plus ancré dans tes documents, il devine. La solution est un garde-fou de refus : avant même de construire le prompt, regarde à quel point les morceaux récupérés correspondent vraiment à la question. Si la meilleure correspondance est faible, les documents ne couvrent sans doute pas la question, donc la bonne réaction est de refuser et de passer la main plutôt que d'halluciner.
Le signal que tu as déjà, c'est la plus haute similarité de recherche. Choisis un seuil. Si le morceau récupéré au meilleur score est en dessous, refuse. C'est une seule vérification bon marché placée entre la recherche et la génération, et c'est l'une des pièces les plus précieuses d'un système RAG de production : c'est la différence entre « I don't know » et une réponse fausse affirmée avec assurance.
contexts = [
{"text": "Refunds take five business days...", "score": 0.62},
{"text": "Shipping takes 5 to 7 days...", "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3) # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7) # -> True, top 0.62 below 0.7À construire. Écris should_refuse(query, contexts, threshold) où contexts est une liste de dicts portant chacun un "score" numérique (la similarité de recherche). Renvoie :
Truequandcontextsest vide (rien de récupéré -> rien sur quoi s'ancrer).Truequand le plus haut score parmi les contextes est strictement inférieur àthreshold.Falsesinon (au moins un morceau passe la barre).
La limite est voulue : un score exactement égal au seuil suffit pour répondre (utilise strictement inférieur pour le refus). Remarque que query est passé car un vrai système peut aussi refuser selon d'autres signaux, mais ici la décision repose sur les scores. Appuie sur Run pour voir des questions dans le domaine et hors domaine recevoir des verdicts différents.
Écris should_refuse(query, contexts, threshold) qui renvoie True quand contexts est vide ou quand le "score" maximal parmi les dicts de contexte est strictement inférieur à threshold, et False sinon. Un score exactement égal au seuil ne doit PAS refuser.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.