दायरे-से-बाहर इनकार, हवाले और PII
आपका सहायक ला और ground कर सकता है। पर ग्राहकों के सामने एक असली support bot को guardrails चाहिए, और यही वह पाठ है जो एक demo को ऐसी चीज़ में बदलता है जिसे आप सचमुच deploy करेंगे। तीन, और एक hiring manager तीनों खोजेगा:
- दायरे से बाहर के सवाल मना करें। अगर knowledge base में कुछ भी सवाल के काफ़ी पास नहीं है, तो तुरंत गढ़ें नहीं -- इनकार संकेत लौटाएँ। RAG में यह अकेला सबसे ज़रूरी सुरक्षा बर्ताव है।
- स्रोत उद्धृत करें। जब आप जवाब दें, तो बताएँ कि किन लेख ids ने जवाब का समर्थन किया, ताकि एक इंसान उसे जाँच सके।
- PII छिपाएँ। अगर आप कभी उपयोगकर्ता का टेक्स्ट दोहराते हैं (एक log, एक ticket, एक prompt में), तो पहले ईमेल और फ़ोन नंबर हटाएँ।
एक retriever फिर बनाएँ (पाठ 1 का अपना TF-IDF दोबारा इस्तेमाल करें) और guardrail परत जोड़ें:
answer_or_refuse(query, index) # refuse, or answer WITH citations
redact_pii(text) # mask emails and phone numbersanswer_or_refuse(query, index) query को knowledge base के सामने score करता है। अगर सबसे ऊपर की similarity एक सीमा से नीचे है, तो सवाल दायरे से बाहर है -- सटीक संकेत I do not know. लौटाएँ। नहीं तो एक ग़ैर-ख़ाली जवाब स्ट्रिंग लौटाएँ जो इस्तेमाल किए स्रोत ids उद्धृत करे। ग्रेडर एक असली जवाब के बारे में दो बातें जाँचता है: वह संकेत नहीं है, और वह सही लेख id का नाम लेता है (जैसे password सवाल के हवाले में 0 शामिल है)। हवाले को फ़ॉर्मैट करने का एक साफ़ तरीका एक आख़िरी (sources: [0]) है, पर id वाला कोई भी रूप काम करता है। (यह कैपस्टोन इसे "I do not know." लिखता है, जहाँ RAG मॉड्यूल ने "I don't know." इस्तेमाल किया। सटीक शब्द मायने नहीं रखते; मायने रखता है कि आपका prompt और आपका कोड अक्षर दर अक्षर एक तय स्ट्रिंग पर सहमत हों।)
सीमा कैसे तय करें: stopwords हटाने के बाद, एक सचमुच विषय से बाहर का सवाल ("what is the capital of France?") किसी भी लेख से कोई सामग्री शब्द साझा नहीं करता, इसलिए उसकी सबसे ऊपर की cosine similarity 0.0 है। विषय वाला सवाल शून्य से काफ़ी ऊपर score करता है। 0.05 जैसी एक छोटी धनात्मक सीमा उन्हें साफ़ अलग करती है।
redact_pii(text) किसी भी ईमेल को [EMAIL] और किसी भी फ़ोन नंबर को [PHONE] से बदलता है, बाक़ी सब बिना छुए छोड़ते हुए। दो regexes यह करते हैं। एक ईमेल मोटे तौर पर name@host.tld है; एक फ़ोन नंबर 7 या ज़्यादा अंकों का सिलसिला है, शायद बीच में + - ( ) space के साथ। सामान्य टेक्स्ट -- "30 days" जैसी छोटी संख्या समेत -- बिना बदले लौटना चाहिए। हवाले के साथ एक विषय वाला जवाब, एक विषय से बाहर का इनकार, और छिपाया PII देखने के लिए Run दबाएँ।
अपना TF-IDF retriever दोबारा इस्तेमाल करें, फिर guardrails जोड़ें। answer_or_refuse(query, index) सबसे ऊपर की similarity एक छोटी सीमा से नीचे होने पर सटीक संकेत I do not know. लौटाता है; नहीं तो एक ग़ैर-ख़ाली जवाब लौटाता है जो इस्तेमाल किए स्रोत doc id(s) उद्धृत करे। redact_pii(text) ईमेल को [EMAIL] और फ़ोन नंबरों को [PHONE] के रूप में छिपाता है जबकि सामान्य टेक्स्ट ("30 days" जैसी छोटी संख्याओं समेत) बिना बदले छोड़ता है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।