Refus hors sujet, citations et données personnelles
Ton assistant sait chercher et s'ancrer. Mais un vrai bot de support face à des clients a besoin de garde-fous, et c'est la leçon qui transforme une démo en quelque chose que tu déploierais vraiment. Il y en a trois, et un recruteur cherchera les trois :
- Refuser les questions hors sujet. Si rien dans la base de connaissances n'est assez proche de la question, n'improvise pas -- renvoie la sentinelle de refus. C'est le comportement de sécurité le plus important d'un RAG.
- Citer les sources. Quand tu réponds, indique quels identifiants d'articles appuient la réponse, pour qu'un humain puisse vérifier.
- Masquer les données personnelles. Si tu reprends un jour le texte de l'utilisateur (dans un journal, un ticket, un prompt), retire d'abord les e-mails et les numéros de téléphone.
Reconstruis un moteur de recherche (réutilise ton TF-IDF de la leçon 1) et ajoute la couche de garde-fous :
answer_or_refuse(query, index) # refuse, or answer WITH citations
redact_pii(text) # mask emails and phone numbersanswer_or_refuse(query, index) note la requête par rapport à la base de connaissances. Si la meilleure similarité est sous un seuil, la question est hors sujet -- renvoie la sentinelle exacte I do not know. Sinon, renvoie une réponse non vide qui cite les identifiants des sources utilisées. Le correcteur vérifie deux choses sur une vraie réponse : ce n'est pas la sentinelle, et elle nomme le bon identifiant d'article (par exemple, la citation pour une question sur le mot de passe contient 0). Une façon propre de formater une citation est un (sources: [0]) à la fin, mais n'importe quelle forme qui contient l'identifiant marche. (Ce projet final l'écrit « I do not know. », là où le module RAG utilisait « I don't know. ». Les mots exacts importent peu ; ce qui compte, c'est que ton prompt et ton code s'accordent sur une seule chaîne fixe, caractère pour caractère.)
Comment fixer le seuil : une fois les mots vides retirés, une question vraiment hors sujet (« what is the capital of France? ») ne partage aucun mot porteur de sens avec aucun article, donc sa meilleure similarité cosinus vaut 0.0. Une question dans le sujet obtient bien plus que zéro. Un petit seuil positif comme 0.05 les sépare proprement.
redact_pii(text) remplace tout e-mail par [EMAIL] et tout numéro de téléphone par [PHONE], sans toucher au reste. Deux regex suffisent. Un e-mail ressemble à peu près à name@host.tld ; un numéro de téléphone est une suite d'au moins 7 chiffres, avec éventuellement des + - ( ) space entre eux. Le texte anodin -- y compris un petit nombre comme « 30 days » -- doit revenir inchangé. Appuie sur Run pour voir une réponse dans le sujet avec une citation, un refus hors sujet, et des données personnelles masquées.
Réutilise ton moteur de recherche TF-IDF, puis ajoute des garde-fous. answer_or_refuse(query, index) renvoie la sentinelle exacte I do not know. quand la meilleure similarité est sous un petit seuil ; sinon elle renvoie une réponse non vide qui cite le ou les identifiants des documents sources utilisés. redact_pii(text) masque les e-mails en [EMAIL] et les numéros de téléphone en [PHONE], en laissant intact le texte anodin (y compris les petits nombres comme « 30 days »).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.