Kurrikulum Leson 157 van 250 · Bou 'n RAG Pipeline
Bou 'n RAG Pipeline

Weerlegging van buite-omvang gidsreël

A RAG-stelsel wat altyd antwoord is gevaarlik. Vra jou ondersteuningsbot "wat is die weer in Tokyo?" en as dit tog antwoord, is dit nie meer gegrond in jou dokumente nie, dit raai net. Die oplossing is 'n refusal guardrail: voordat jy die prompt bou, kyk hoe goed die herwinne chunks werklik by die vraag pas. As die beste pas swak is, dek die dokumente waarskynlik nie die vraag nie, so die regte skuif is om te weier en oor te gee eerder as om te hallusineer.

Die sein wat jy reeds het is die top retrieval similarity. Kies 'n threshold. As die hoogste-score verkryde chunk daaronder is, weier dit. Dit is 'n enkel, goedkoop kontrole wat tussen retrieval en generation sit, en dit is een van die hoogste-waarde dele van 'n produksie RAG-stelsel: dit is die verskil tussen "Ek weet nie" en 'n selfversekerde verkeerde antwoord.

contexts = [
    {"text": "Refunds take five business days...", "score": 0.62},
    {"text": "Shipping takes 5 to 7 days...",        "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3)  # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7)  # -> True,  top 0.62 below 0.7

Wat om te bou. Skryf should_refuse(query, contexts, threshold) waar contexts 'n lys van dicts is wat elk 'n numeriese "score" (die retrieval similarity) bevat. Terugvoer:

  • True wanneer contexts leeg is (niks herwin -> niks om op te grond).
  • True wanneer die highest telling onder die kontekste streng onder threshold.
  • is
  • False andersins (ten minste een stuk bereik die drempel).

Die grens is doelbewus: 'n telling wat presies gelyk is aan die drempel is goed genoeg om te antwoord (gebruik strictly-less-than vir die weiering). Let daarop dat query oorgedra word omdat 'n regte stelsel ook op ander seine kan weier, maar hier rus die besluit op die tellings. Druk Run om te sien hoe in-domain en out-of-domain vrae verskillende uitsprake kry.

Jou beurt

Skryf should_refuse(query, contexts, threshold) wat True teruggee wanneer contexts leeg is of wanneer die maksimum "score" oor die context dicts streng minder as threshold is, en False andersins. 'n Telling wat presies gelyk is aan die drempel moet NIE weier nie.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.