Weerlegging van buite-omvang gidsreël
A RAG-stelsel wat altyd antwoord is gevaarlik. Vra jou ondersteuningsbot "wat is die weer in Tokyo?" en as dit tog antwoord, is dit nie meer gegrond in jou dokumente nie, dit raai net. Die oplossing is 'n refusal guardrail: voordat jy die prompt bou, kyk hoe goed die herwinne chunks werklik by die vraag pas. As die beste pas swak is, dek die dokumente waarskynlik nie die vraag nie, so die regte skuif is om te weier en oor te gee eerder as om te hallusineer.
Die sein wat jy reeds het is die top retrieval similarity. Kies 'n threshold. As die hoogste-score verkryde chunk daaronder is, weier dit. Dit is 'n enkel, goedkoop kontrole wat tussen retrieval en generation sit, en dit is een van die hoogste-waarde dele van 'n produksie RAG-stelsel: dit is die verskil tussen "Ek weet nie" en 'n selfversekerde verkeerde antwoord.
contexts = [
{"text": "Refunds take five business days...", "score": 0.62},
{"text": "Shipping takes 5 to 7 days...", "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3) # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7) # -> True, top 0.62 below 0.7Wat om te bou. Skryf should_refuse(query, contexts, threshold) waar contexts 'n lys van dicts is wat elk 'n numeriese "score" (die retrieval similarity) bevat. Terugvoer:
Truewanneercontextsleeg is (niks herwin -> niks om op te grond).Truewanneer die highest telling onder die kontekste streng onderthreshold. isFalseandersins (ten minste een stuk bereik die drempel).
Die grens is doelbewus: 'n telling wat presies gelyk is aan die drempel is goed genoeg om te antwoord (gebruik strictly-less-than vir die weiering). Let daarop dat query oorgedra word omdat 'n regte stelsel ook op ander seine kan weier, maar hier rus die besluit op die tellings. Druk Run om te sien hoe in-domain en out-of-domain vrae verskillende uitsprake kry.
Skryf should_refuse(query, contexts, threshold) wat True teruggee wanneer contexts leeg is of wanneer die maksimum "score" oor die context dicts streng minder as threshold is, en False andersins. 'n Telling wat presies gelyk is aan die drempel moet NIE weier nie.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.