Buiten het bereik weigering, citaties & PII
Je assistent kan informatie ophalen en onderbouwen. Maar een echte supportbot voor klanten heeft guardrails nodig, en dit is de les die een demo verandert in iets wat je echt zou uitrollen. Drie van hen, en een hiring manager zal naar alle drie kijken:
- Weiger vragen buiten de scope. Als niets in de kennisbank dicht genoeg bij de vraag ligt, improviseer dan niet. Geef de refusal sentinel terug. Dit is het belangrijkste veiligheidsgedrag in RAG.
- Citeer bronnen. Als je antwoordt, zeg dan welke artikel-ids het antwoord ondersteunen, zodat een mens het kan verifiëren.
- Redigeer PII. Als je de tekst van de gebruiker ooit echo't (in een log, een ticket, een prompt), verwijder dan eerst e-mails en telefoonnummers.
Bouw opnieuw een retriever (gebruik je TF-IDF uit les 1) en voeg de guardrail laag toe:
answer_or_refuse(query, index) # refuse, or answer WITH citations
redact_pii(text) # mask emails and phone numbersanswer_or_refuse(query, index) scoort de query tegen de kennisbank. Als de top similarity onder een drempelwaarde ligt, is de vraag buiten de reikwijdte -- geef het exacte sentinel I do not know. terug. Geef anders een niet-lege antwoordstring terug die cites the source ids gebruikt. De grader controleert twee dingen over een echt antwoord: het is niet het sentinel, en het noemt de juiste article id (bijvoorbeeld de citatie voor een wachtwoordvraag bevat 0). Een schone manier om een citatie te formatteren is een afsluitende (sources: [0]), maar elke vorm die de id bevat werkt. (Deze capstone schrijft het uit als "I do not know.", waar de RAG module "I don't know." gebruikte. De exacte woorden doen er niet toe; wat ertoe doet is dat je prompt en je code het eens zijn over één vaste string, karakter voor karakter.)
Hoe je de drempel instelt: met verwijderde stopwords deelt een echt off-topic vraag ("wat is de hoofdstad van Frankrijk?") geen inhoudswoorden met een artikel, dus de hoogste cosine similarity is 0.0. Een on-topic vraag scoort ruim boven nul. Een kleine positieve drempel zoals 0.05 scheidt ze duidelijk.
redact_pii(text) vervangt elke e-mail met [EMAIL] en elk telefoonnummer met [PHONE], terwijl de rest ongewijzigd blijft. Twee regexes doen dit. Een e-mail is ongeveer name@host.tld; een telefoonnummer is een reeks van 7 of meer cijfers mogelijk met + - ( ) space ertussen. Onschuldige tekst, inclusief een kort getal zoals "30 days", moet ongewijzigd terugkomen. Druk op Run om een antwoord over het onderwerp te zien met een citatie, een weigering buiten het onderwerp en gemaskeerde PII.
Gebruik je TF-IDF retriever opnieuw, voeg daarna guardrails toe. answer_or_refuse(query, index) geeft het exacte sentinel I do not know. terug wanneer de hoogste similarity onder een kleine drempelwaarde ligt; anders geeft het een niet-leeg antwoord dat de bron doc id(s) citeert die het gebruikte. redact_pii(text) maskeert e-mails als [EMAIL] en telefoonnummers als [PHONE] terwijl het onschuldige tekst (inclusief korte nummers zoals "30 days") onveranderd laat.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.