दायरे-से-बाहर इनकार वाला guardrail
हमेशा जवाब देने वाला RAG सिस्टम ख़तरनाक है। अपने support bot से "Tokyo में मौसम कैसा है?" पूछें और, अगर वह फिर भी जवाब दे, तो वह अब आपके दस्तावेज़ों पर टिका नहीं, अंदाज़ा लगा रहा है। इलाज एक इनकार guardrail है: prompt बनाने से पहले देखें कि लाए chunks सवाल से असल में कितने अच्छे मेल खाते हैं। अगर सबसे अच्छा मिलान कमज़ोर है, तो दस्तावेज़ शायद सवाल को नहीं ढकते, इसलिए सही चाल गढ़ने के बजाय मना करना और आगे सौंपना है।
आपके पास पहले से जो संकेत है वह top retrieval similarity है। एक सीमा चुनें। अगर सबसे ऊँचा score करने वाला लाया chunk उससे नीचे है, तो मना करें। यह retrieval और generation के बीच बैठी एक अकेली, सस्ती जाँच है, और production RAG सिस्टम के सबसे क़ीमती टुकड़ों में से एक: यह "मुझे नहीं पता" और एक आत्मविश्वासी ग़लत जवाब के बीच का अंतर है।
contexts = [
{"text": "Refunds take five business days...", "score": 0.62},
{"text": "Shipping takes 5 to 7 days...", "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3) # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7) # -> True, top 0.62 below 0.7क्या बनाना है। should_refuse(query, contexts, threshold) लिखें जहाँ contexts dicts की सूची है जिसमें हर एक एक संख्या "score" (retrieval similarity) रखता है। लौटाएँ:
Trueजबcontextsख़ाली हो (कुछ नहीं लाया -> टिकने को कुछ नहीं)।Trueजब संदर्भों में सबसे ऊँचा scorethresholdसे सख़्ती से नीचे हो।Falseनहीं तो (कम से कम एक chunk मानक पार करता है)।
सीमा जानबूझकर है: ठीक सीमा के बराबर score जवाब देने के लिए काफ़ी अच्छा है (इनकार के लिए सख़्ती से-कम इस्तेमाल करें)। ध्यान दें कि query इसलिए दिया जाता है क्योंकि एक असली सिस्टम दूसरे संकेतों पर भी मना कर सकता है, पर यहाँ फ़ैसला scores पर टिका है। दायरे के अंदर और बाहर के सवालों को अलग फ़ैसले मिलते देखने के लिए Run दबाएँ।
should_refuse(query, contexts, threshold) लिखें जो True लौटाए जब contexts ख़ाली हो या जब संदर्भ dicts में अधिकतम "score" threshold से सख़्ती से कम हो, और नहीं तो False। ठीक सीमा के बराबर score पर मना नहीं होना चाहिए।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।