Außerhalb des Bereichs Ablehnung, Zitate & PII
Dein Assistent kann Informationen abrufen und verankern. Aber ein echter Support-Bot vor Kunden braucht guardrails, und das ist die Lektion, die eine Demo in etwas verwandelt, das du tatsächlich einsetzen würdest. Drei davon, und ein Hiring Manager wird nach allen drei suchen:
- Lehne Fragen ab, die außerhalb des Bereichs liegen. Wenn nichts in der Wissensbasis nah genug an der Frage ist, improvisiere nicht. Gib den Verweigerungs-Sentinel zurück. Dies ist das wichtigste Sicherheitsverhalten in RAG.
- Quellen angeben. Wenn du antwortest, nenne die Artikel-IDs, die die Antwort stützen, damit ein Mensch sie überprüfen kann.
- PII schwärzen. Wenn du jemals den Text des Nutzers ausgibst (in ein Log, ein Ticket, einen Prompt), entferne zuerst E-Mails und Telefonnummern.
Baue einen Retriever erneut (verwende deinen TF-IDF aus Lektion 1) und füge die Guardrail-Schicht hinzu:
answer_or_refuse(query, index) # refuse, or answer WITH citations
redact_pii(text) # mask emails and phone numbersanswer_or_refuse(query, index) bewertet die query gegen die Wissensdatenbank. Wenn die top similarity unter einem Schwellenwert liegt, ist die Frage nicht im Bereich -- gib den exakten Sentinel I do not know. zurück. Andernfalls gib einen nicht leeren Antwortstring zurück, der die verwendeten cites the source ids zitiert. Der Grader prüft zwei Dinge an einer echten Antwort: sie ist nicht der Sentinel, und sie nennt die korrekte article id (zum Beispiel enthält die 0 für eine Passwortfrage). Ein sauberer Weg, eine (sources: [0]) zu formatieren, ist ein anhängendes Komma, aber jede Form, die die id enthält, funktioniert. (Dieses Capstone schreibt es als "I do not know." aus, wo das RAG Modul "I don't know." verwendete. Die exakten Wörter sind nicht wichtig; Warum das wichtig ist, ist, dass dein prompt und dein code sich auf einen festen String, Zeichen für Zeichen, einigen.)
Wie man den Schwellenwert festlegt: Mit entfernten Stopwords teilt eine wirklich themenfremde Frage ("was ist die Hauptstadt von Frankreich?") keine Inhaltswörter mit irgendeinem Artikel, also ist ihre höchste Cosine Similarity 0.0. Eine themenrelevante Frage erzielt einen Wert deutlich über Null. Ein kleiner positiver Schwellenwert wie 0.05 trennt sie sauber.
redact_pii(text) ersetzt jede E-Mail mit [EMAIL] und jede Telefonnummer mit [PHONE] und lässt alles andere unberührt. Zwei Regex machen das. Eine E-Mail ist etwa name@host.tld; eine Telefonnummer ist eine Folge von 7 oder mehr Ziffern möglicherweise mit + - ( ) space dazwischen. Harmloser Text -- einschließlich einer kurzen Zahl wie "30 days" -- muss unverändert zurückkommen. Drücke Run um eine thematische Antwort mit einer Zitat, eine abgelehnte Antwort und maskierte PII zu sehen.
Verwende deinen TF-IDF retriever erneut und füge dann guardrails hinzu. answer_or_refuse(query, index) gibt den exakten sentinel I do not know. zurück, wenn die höchste similarity unter einem kleinen Schwellenwert liegt; ansonsten gibt er eine nicht leere Antwort zurück, die die verwendete(n) source doc id(s) zitiert. redact_pii(text) maskiert emails als [EMAIL] und telefonnummern als [PHONE] und lässt dabei harmlosen Text (einschließlich kurzer Zahlen wie "30 days") unverändert.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.