Aus dem Bereich fallender Ablehnungs-Schutzregel
A RAG-System, das immer antwortet, ist gefährlich. Frage deinen Support-Bot "wie ist das Wetter in Tokio?" und wenn er trotzdem antwortet, ist es nicht mehr in deinen Dokumenten begründet, es rät nur. Die Lösung ist eine refusal guardrail: Bevor du den prompt überhaupt baust, schaue dir an, wie gut die retrieved chunks tatsächlich zur Frage passen. Wenn der beste match schwach ist, decken die Dokumente die Frage wahrscheinlich nicht ab, also ist der richtige Schritt, die Antwort zu verweigern und abzugeben, anstatt zu halluzinieren.
Das Signal, das du bereits hast, ist die höchste Abrufabstimmung. Wähle eine threshold. Wenn der am höchsten bewertete abgerufene Chunk darunter liegt, lehne ab. Dies ist eine einzelne, günstige Prüfung, die zwischen Abruf und Generierung sitzt. Sie ist eines der wertvollsten Teile eines produktiven RAG-Systems. Sie ist der Unterschied zwischen "Ich weiß es nicht" und einer selbstbewussten falschen Antwort.
contexts = [
{"text": "Refunds take five business days...", "score": 0.62},
{"text": "Shipping takes 5 to 7 days...", "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3) # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7) # -> True, top 0.62 below 0.7Was zu bauen ist. Schreibe should_refuse(query, contexts, threshold) wo contexts eine Liste von Dicts ist, die jeweils einen numerischen "score" (die retrieval similarity) trägt. Rückgabe:
Truewenncontextsleer ist (nichts abgerufen -> nichts zum Aufbauen).Truewenn der highest Score unter den Kontexten strikt unterthreshold. liegtFalseansonsten (mindestens ein Teilstück erfüllt die Anforderung).
Die Grenze ist bewusst gewählt: ein Score genau gleich dem Schwellenwert ist gut genug, um zu antworten (nutze strictly-less-than für die Ablehnung). Beachte, dass query übergeben wird, weil ein echtes System auch auf anderen Signalen ablehnen kann, aber hier liegt die Entscheidung auf den Scores. Drücke Run, um zu sehen, wie In-Domain und Out-of-Domain Fragen unterschiedliche Urteile erhalten.
Schreibe should_refuse(query, contexts, threshold), das True zurückgibt, wenn contexts leer ist oder wenn das maximale "score" über die Kontext-Dictionaries hinweg strikt kleiner als threshold ist, und False ansonsten. Ein Score, der exakt dem Schwellenwert entspricht, darf NICHT abgelehnt werden.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.