पाठ्यक्रम 250 में से पाठ 133 · AI engineers के लिए prompt engineering
AI engineers के लिए prompt engineering

Delimiters, grounding और गढ़ने के ख़िलाफ़

मॉडल को बातें गढ़ने से रोकने का अकेला सबसे असरदार तरीका grounding है: उसे स्रोत सामग्री दें, उसे साफ़ delimiters से घेरें, और उसे सिर्फ़ उस सामग्री से जवाब देने का निर्देश दें, जवाब वहाँ न होने पर एक साफ़ बचाव रास्ते के साथ। यह हर retrieval-augmented सिस्टम का केंद्र है, और यह सब prompt बनाना है।

grounded_prompt(question, context_chunks) बनाएँ जो जोड़े:

  • एक CONTEXT: हिस्सा जिसमें हर chunk क्रमांकित और घिरा हो, जैसे [1] ..., [2] ...।
  • context के बाद सवाल।
  • सिर्फ़ context से जवाब देने का एक सटीक निर्देश, बचाव रास्ते पर ख़त्म होता हुआ: अगर जवाब context में नहीं है, तो ठीक यह लिखें I don't know.
  • एक खुली जवाब बारी ताकि मॉडल जाने कि उसे जवाब देना है।

फिर जाँचने वाला बनाएँ। check_grounded(answer, context_chunks) True लौटाता है जब जवाब grounded हो: या तो वह ठीक I don't know. संकेत है, या जवाब का हर अहम शब्द जोड़े गए context में आता है। जब जवाब में ऐसे गढ़े शब्द हों जिनका context ने कभी ज़िक्र नहीं किया, तो यह False लौटाता है।

ctx = ["The capital of France is Paris."]
check_grounded("The capital is Paris.", ctx)            # True
check_grounded("I don't know.", ctx)                    # True (honest)
check_grounded("The capital is Berlin.", ctx)           # False (invented)

अहम शब्द जाँचते समय छोटे stopwords (the, is, a, of...) नज़रअंदाज़ करें, ताकि सामान्य वाक्य-रचना को सज़ा न मिले, पर Berlin जैसा content शब्द जो context में कभी नहीं आता जाँच में सही ढंग से विफल हो। ग्रेड करने के लिए Run दबाएँ।

इस बारे में ईमानदार रहें कि यह क्या पकड़ता है: समावेश गढ़े tokens को चिह्नित करता है (वे शब्द जिनका context ने कभी ज़िक्र नहीं किया), पर असली context शब्दों से दोबारा जोड़े गए झूठे दावे को नहीं पकड़ सकता। "Refunds take France business days" यहाँ पास हो जाता भले ही यह बेतुका है, क्योंकि हर शब्द context में है। असली faithfulness जाँच को एक LLM-judge या NLI (entailment) मॉडल चाहिए जो शब्दों की सदस्यता नहीं, मतलब के बारे में सोचे।

आपकी बारी

grounded_prompt(question, context_chunks) लिखें जो CONTEXT: के नीचे chunks को क्रमांकित करके घेरे, सवाल जोड़े, ठीक बचाव रास्ते I don't know. के साथ सिर्फ़ context से जवाब माँगे, और एक खुली जवाब बारी पर ख़त्म हो। सटीक layout, पंक्तियाँ "\n" से जुड़ी: CONTEXT:, फिर हर chunk की एक पंक्ति [1] chunk text, [2] ... के रूप में लिखी, एक ख़ाली पंक्ति, Question: ..., निर्देश पंक्ति (इसमें I don't know. होना चाहिए), और आख़िर में खुली जवाब बारी [assistant]। check_grounded(answer, context_chunks) लिखें जो संकेत पर, या जब जवाब का हर अहम (non-stopword) शब्द जोड़े गए context में हो, True लौटाए, नहीं तो False।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।