पाठ्यक्रम 250 में से पाठ 129 · AI engineers के लिए prompt engineering
AI engineers के लिए prompt engineering

Self-consistency: नमूना लें, parse करें, वोट करें

एक मॉडल नमूना संयोग से ग़लत हो सकता है। Self-consistency एक ही सवाल के कई नमूने लेता है, हर एक से जवाब parse करता है, और उन्हें वोट करने देता है। बहुमत वाला जवाब आमतौर पर किसी अकेले दौर से ज़्यादा भरोसेमंद है। नमूना लेना मॉडल का काम है; parse-और-वोट आपका, और वह पूरी तरह निश्चित है।

दो फ़ंक्शन बनाएँ:

  • extract_answer(text) टेक्स्ट में बताया आख़िरी पूर्णांक लौटाता है (तर्क के बाद मॉडल की आख़िरी संख्या), या कोई पूर्णांक न हो तो None। स्ट्रिंग पर regex से पूर्णांक ढूँढें।
  • self_consistency(samples) नमूना स्ट्रिंग की सूची लेता है, हर एक से जवाब निकालता है, None में parse होने वालों को हटाता है, और Counter से बहुमत मान लौटाता है। बराबरी को सबसे छोटे मान की ओर तोड़ें ताकि नतीजा निश्चित हो।

उदाहरण के लिए, [4, 4, 5] में parse होने वाले नमूनों पर वोट 4 लौटाता है। [3, 5] (1-1 बराबरी) पर यह 3 लौटाता है, छोटा वाला। parse न होने वाले नमूने बस नज़रअंदाज़ होते हैं:

self_consistency(["... so 4", "answer 4", "I think 5"])  # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"])     # 9

निश्चित टाई-ब्रेक मायने रखता है: बराबर वोटों पर हर बार अलग विजेता लौटाने वाला eval न टेस्ट हो सकता है न भेजा जा सकता है। ग्रेड करने के लिए Run दबाएँ।

आपकी बारी

extract_answer(text) लिखें जो टेक्स्ट का आख़िरी पूर्णांक लौटाए (शुरुआती ऋण चिह्न सँभालते हुए), या कोई न हो तो None। self_consistency(samples) लिखें जो हर नमूने से जवाब निकाले, None नतीजे हटाए, और Counter से बहुमत मान लौटाए, बराबरी को सबसे छोटे मान की ओर तोड़ते हुए। कोई parse होने लायक जवाब न हो तो None लौटाएँ।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।