labelled दस्तावेज़ों पर batch eval
आप एक अकेला दस्तावेज़ parse, जाँच, और मिला सकते हैं। hiring manager जो सवाल असल में पूछता है वह है: हज़ारों पर यह कितना अच्छा है? आप इसका जवाब वैसे देते हैं जैसे हर गंभीर ML और डेटा टीम देती है -> एक eval से। आप हाथ से labelled दस्तावेज़ों का एक batch (gold set) लेते हैं, उन पर अपना extractor चलाते हैं, और मापते हैं कि हर field कितनी बार सही निकला। eval नहीं, तो भरोसा नहीं।
evaluate(predictions, gold) लिखें। दोनों एक ही लंबाई वाली dicts की सूचियाँ हैं, स्थान से मेल खाती -> predictions[i] उस दस्तावेज़ के लिए आपके extractor का आउटपुट है जिसका सच्चा जवाब gold[i] है। उनकी field दर field तुलना करें और एक सार लौटाएँ:
{
"accuracy": 0.83, # overall fraction of fields that matched
"per_field": { # correct count AND total per field
"vendor": {"correct": 5, "total": 6},
"total": {"correct": 4, "total": 6},
...
},
"n": 6 # number of documents compared
}नियम:
- score करने वाले fields का set gold records में देखी हर कुंजी का मेल है। (अनुमान से ग़ायब field उस field के लिए ग़लत गिना जाता है।)
- एक field सही है जब अनुमानित मान gold मान के बराबर हो। अनुमान पर
.get(field)इस्तेमाल करें ताकि ग़ायब कुंजी क्रैश होने के बजायNoneके रूप में तुलना हो। accuracyकुल सही fields भाग कुल तुलना किए fields (दस्तावेज़ गुणा fields) है, 4 दशमलव तक गोल।- ख़ाली-set सुरक्षित: अगर
goldख़ाली है, तो{"accuracy": 0.0, "per_field": {}, "n": 0}लौटाएँ -> कभी शून्य से भाग न दें।
चाहें तो pandas हिसाब-किताब साफ़ रखता है -> हर-field मिलानों का एक DataFrame बनाएँ और कॉलम जोड़ें -> पर कुछ सादे dict loops भी उतने ही अच्छे हैं। यहाँ कुछ seed न करें; batch तय है, इसलिए आपकी accuracy एक ऐसी संख्या है जिसे ग्रेडर ठीक-ठीक जाँच सकता है।
यह आपकी दस्तावेज़ समझने वाली सेवा का चक्र पूरा करता है: निकालो -> मरम्मत करो -> जाँचो -> मिलाओ -> मापो। "मैंने reconciliation और field-स्तर eval ढाँचे के साथ एक schema-validated extraction pipeline बनाई" ऐसा वाक्य है जो आपको दूसरा interview दिलाता है। एक छोटा labelled batch score करने के लिए Run दबाएँ।
दो स्थान से मेल खाती record dict सूचियों पर evaluate(predictions, gold) लिखें। gold records की कुंजियों के मेल का हर field score करें; एक field सही है जब prediction.get(field) == gold[field] हो (ग़ायब कुंजी None के रूप में तुलना होती है)। {"accuracy", "per_field", "n"} लौटाएँ जहाँ accuracy कुल सही भाग कुल तुलना किए fields है (4 दशमलव तक गोल), per_field[field] है {"correct", "total"}, और n दस्तावेज़ गिनती है। अगर gold ख़ाली है, तो {"accuracy": 0.0, "per_field": {}, "n": 0} लौटाएँ (शून्य से भाग नहीं)।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।