Prompts परखना (gold set पर accuracy)
"नया prompt बेहतर लगता है" कोई जवाब नहीं है। जानने के लिए आप एक gold set रखते हैं: इनपुट जो उन सही आउटपुट के साथ जुड़े हैं जिन पर आप भरोसा करते हैं। आप prompt को इनपुट पर चलाते हैं, हर अनुमान की तुलना उसके gold जवाब से करते हैं, और एक संख्या बताते हैं। वही संख्या है जिससे आप ख़ुद को धोखा दिए बिना prompt v1 की तुलना v2 से करते हैं।
आप scorer बनाएँगे। score_prediction(pred, gold) मेल होने पर 1.0 और नहीं तो 0.0 लौटाता है, छोटे-बड़े अक्षर और आसपास की ख़ाली जगह नज़रअंदाज़ करते हुए तुलना करके, क्योंकि व्यवहार में "Yes", "yes", और " yes " सब एक ही जवाब हैं।
evaluate(predictions, golds) दोनों सूचियों पर साथ-साथ चलता है, हर जोड़े को score करता है, और एक सार लौटाता है:
evaluate(["yes", "NO", "maybe"], ["yes", "no", "yes"])
# {"accuracy": 0.6667, "correct": 2, "total": 3}accuracy को 4 दशमलव तक गोल करें। ख़ाली set को सुरक्षित बनाएँ: शून्य golds पर शून्य से भाग देने के बजाय {"accuracy": 0.0, "correct": 0, "total": 0} लौटाएँ, क्योंकि eval sets छँटकर छोटे होते हैं और आप नहीं चाहते कि ढाँचा ख़ाली टुकड़े पर क्रैश हो।
छिपे टेस्टों में से एक आपका evaluate 50 रैंडम बनाए prediction/gold sets पर चलाता है और टेस्ट में निकाले एक संदर्भ से तुलना करता है। दिखने वाले मामलों की lookup table वह नहीं झेलेगी, और यही मक़सद है: आप असली scorer बना रहे हैं, जवाब याद नहीं कर रहे। ग्रेड करने के लिए Run दबाएँ।
score_prediction(pred, gold) लिखें जो दोनों के छोटे-बड़े अक्षर और आसपास की ख़ाली जगह नज़रअंदाज़ करके मेल खाने पर 1.0 लौटाए, नहीं तो 0.0। evaluate(predictions, golds) लिखें जो जुड़ी सूचियों पर {"accuracy", "correct", "total"} लौटाए, accuracy 4 दशमलव तक गोल और ख़ाली set पर सब शून्य (कोई क्रैश नहीं)।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।