Programma Les 157 van 250 · Bouw een RAG Pipeline
Bouw een RAG Pipeline

Afwijzing buiten het bereik guardrail

A RAG systeem dat altijd antwoordt is gevaarlijk. Vraag je support bot "wat is het weer in Tokyo?" en als het toch antwoordt, is het niet meer gebaseerd op je documenten, het gokt. De oplossing is een refusal guardrail: voordat je de prompt bouwt, kijk naar hoe goed de opgehaalde chunks echt bij de vraag passen. Als de beste match zwak is, dekken de documenten de vraag waarschijnlijk niet, dus de juiste zet is om te weigeren en over te dragen in plaats van te hallucineren.

Het signaal dat je al hebt is de hoogste retrieval similarity. Kies een threshold. Als de hoogste score van de retrieved chunk eronder ligt, weiger dan. Dit is een enkele, goedkope check die tussen retrieval en generation zit. Het is een van de meest waardevolle onderdelen van een productie RAG systeem. Het is het verschil tussen "Ik weet het niet" en een zelfverzekerd fout antwoord.

contexts = [
    {"text": "Refunds take five business days...", "score": 0.62},
    {"text": "Shipping takes 5 to 7 days...",        "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3)  # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7)  # -> True,  top 0.62 below 0.7

Wat je moet bouwen. Schrijf should_refuse(query, contexts, threshold) waar contexts een lijst van dicts is die elk een numerieke "score" bevat (de retrieval similarity). Retour:

  • True wanneer contexts leeg is (niets opgehaald -> niets om op te baseren).
  • True wanneer de highest score onder de contexten strikt onder threshold.
  • is
  • False anders dan (ten minste één stuk haalt de lat).

De grens is bewust: een score die precies gelijk is aan de drempel is goed genoeg om te antwoorden (gebruik strictly-less-than voor de weigering). Let op dat query wordt doorgegeven omdat een echt systeem ook op andere signalen kan weigeren, maar hier rust de beslissing op de scores. Druk op Run om te zien hoe in-domain en out-of-domain vragen verschillende vonnissen krijgen.

Jij bent aan de beurt

Schrijf should_refuse(query, contexts, threshold) dat True teruggeeft wanneer contexts leeg is of wanneer de maximale "score" over de context dicts strikt kleiner is dan threshold, en False anders. Een score die precies gelijk is aan de drempelwaarde mag NIET weigeren.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.