Token-F1 और ROUGE-शैली overlap
Exact-match एक label से लंबी किसी भी चीज़ पर बेरहम है। मॉडल से "Mona Lisa किसने और कब बनाई?" पूछें और gold है "Leonardo da Vinci, around 1503"। मॉडल कहता है "It was painted by Leonardo da Vinci in roughly 1503." Exact-match इसे शून्य देता है। यह साफ़ तौर पर अच्छा जवाब है। खुले टेक्स्ट वाले जवाबों के लिए आपको आंशिक-श्रेय scoring चाहिए, और दो मानक औज़ार token-F1 और ROUGE हैं।
Token-F1 हर जवाब को शब्दों का थैला मानता है और पूछता है कि वे कितने मिलते हैं। छोटे अक्षर करें, ख़ाली जगह पर split करें, और दोनों token sets की तुलना करें:
- precision = (दोनों में tokens) / (अनुमान में tokens) -> जवाब को कचरे से भरने की सज़ा देता है।
- recall = (दोनों में tokens) / (gold में tokens) -> gold के शब्द छोड़ने की सज़ा देता है।
- F1 = harmonic mean,
2 * P * R / (P + R)-> एक संख्या जो किसी भी तरफ़ कमज़ोर होने की सज़ा देती है।
एक जैसी स्ट्रिंग 1.0 लाती हैं; कोई शब्द साझा न करने वाले जवाब 0.0 लाते हैं। एक हाथ से करें: अनुमान "the cat ran", gold "the dog sat"। अकेला साझा token the है, इसलिए precision 1/3 है, recall 1/3 है, और F1 1/3 है।
ROUGE-N वह metric है जिस पर summarization ग्रेड होता है। अकेले शब्दों के बजाय यह मिलते n-grams (n tokens के लगातार सिलसिले) गिनता है और recall बताता है: gold के n-grams में से कितने अनुमान में आते हैं?
def ngrams(tokens, n):
return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]gold "the cat sat on" और अनुमान "the cat sat" के लिए: gold के चार unigrams the, cat, sat, on हैं; तीन आते हैं, इसलिए ROUGE-1 3/4 है। gold के तीन bigrams (the,cat), (cat,sat), (sat,on) हैं; दो आते हैं, इसलिए ROUGE-2 2/3 है। ROUGE-2 आमतौर पर ROUGE-1 से कम होता है क्योंकि शब्दों का क्रम मिलाना शब्द मिलाने से कठिन है, और ठीक इसीलिए आप दोनों बताते हैं।
क्या बनाना है।
token_f1(pred, gold)-> छोटे अक्षरों वाले token sets पर F1; किसी भी तरफ़ ख़ाली होने या कोई overlap न होने पर0.0लौटाएँ (कभी शून्य से भाग न दें)।rouge_n(pred, gold, n)-> gold के n-grams का वह हिस्सा जो अनुमान में आता है; gold में कोई n-gram न हो तो0.0।
यह library से कैसे अलग है। सिखाने के लिए हम token sets पर score करते हैं, इसलिए दोहराया शब्द एक बार गिना जाता है। production token-F1 (SQuAD शैली) multiset गिनतियाँ इस्तेमाल करता है, इसलिए दोहराव को भार मिलता है, और असली ROUGE ROUGE-L जोड़ता है, जो तय n-grams के बजाय सबसे लंबे साझा subsequence को score करता है। विचार एक ही है; production रूप बस दोहराव और शब्द क्रम को ज़्यादा ध्यान से गिनते हैं।
एक अनुमान को संदर्भ के सामने score करने के लिए Run दबाएँ।
token_f1(pred, gold) लिखें जो दोनों छोटे अक्षरों वाले token sets का F1 निकाले (precision = overlap / अनुमान-tokens, recall = overlap / gold-tokens, F1 = harmonic mean), किसी भी तरफ़ ख़ाली होने या कोई overlap न होने पर 0.0 लौटाते हुए। rouge_n(pred, gold, n) लिखें जो gold के n-grams (लगातार n-token tuples) का वह हिस्सा लौटाए जो अनुमान में आता है, gold में कोई n-gram न होने पर 0.0 लौटाते हुए।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।