Lehrplan Lektion 157 von 250 · Baue eine RAG Pipeline
Baue eine RAG Pipeline

Aus dem Bereich fallender Ablehnungs-Schutzregel

A RAG-System, das immer antwortet, ist gefährlich. Frage deinen Support-Bot "wie ist das Wetter in Tokio?" und wenn er trotzdem antwortet, ist es nicht mehr in deinen Dokumenten begründet, es rät nur. Die Lösung ist eine refusal guardrail: Bevor du den prompt überhaupt baust, schaue dir an, wie gut die retrieved chunks tatsächlich zur Frage passen. Wenn der beste match schwach ist, decken die Dokumente die Frage wahrscheinlich nicht ab, also ist der richtige Schritt, die Antwort zu verweigern und abzugeben, anstatt zu halluzinieren.

Das Signal, das du bereits hast, ist die höchste Abrufabstimmung. Wähle eine threshold. Wenn der am höchsten bewertete abgerufene Chunk darunter liegt, lehne ab. Dies ist eine einzelne, günstige Prüfung, die zwischen Abruf und Generierung sitzt. Sie ist eines der wertvollsten Teile eines produktiven RAG-Systems. Sie ist der Unterschied zwischen "Ich weiß es nicht" und einer selbstbewussten falschen Antwort.

contexts = [
    {"text": "Refunds take five business days...", "score": 0.62},
    {"text": "Shipping takes 5 to 7 days...",        "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3)  # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7)  # -> True,  top 0.62 below 0.7

Was zu bauen ist. Schreibe should_refuse(query, contexts, threshold) wo contexts eine Liste von Dicts ist, die jeweils einen numerischen "score" (die retrieval similarity) trägt. Rückgabe:

  • True wenn contexts leer ist (nichts abgerufen -> nichts zum Aufbauen).
  • True wenn der highest Score unter den Kontexten strikt unter threshold.
  • liegt
  • False ansonsten (mindestens ein Teilstück erfüllt die Anforderung).

Die Grenze ist bewusst gewählt: ein Score genau gleich dem Schwellenwert ist gut genug, um zu antworten (nutze strictly-less-than für die Ablehnung). Beachte, dass query übergeben wird, weil ein echtes System auch auf anderen Signalen ablehnen kann, aber hier liegt die Entscheidung auf den Scores. Drücke Run, um zu sehen, wie In-Domain und Out-of-Domain Fragen unterschiedliche Urteile erhalten.

Du bist dran

Schreibe should_refuse(query, contexts, threshold), das True zurückgibt, wenn contexts leer ist oder wenn das maximale "score" über die Kontext-Dictionaries hinweg strikt kleiner als threshold ist, und False ansonsten. Ein Score, der exakt dem Schwellenwert entspricht, darf NICHT abgelehnt werden.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.