تداخل بنمط Token-F1 و ROUGE
Exact-match قاسي جدا على أي شيء أطول من تسمية. اسأل نموذجا "من رسم الموناليزا ومتى؟" والهدف هو "ليوناردو دا فينشي، حوالي 1503". يقول النموذج "رُسمت بواسطة ليوناردو دا فينشي في حوالي 1503". Exact-match يعطي ذلك صفرا. من الواضح أنه إجابة جيدة. للإجابات النصية الحرة تحتاج إلى partial-credit scoring، والأداتان القياسيتان هما token-F1 و ROUGE.
Token-F1 يعامل كل إجابة كحقيبة من الكلمات ويسأل عن مقدار تداخلها. حولها إلى أحرف صغيرة، وقم بتقسيمها بناء على المسافات البيضاء، وقارن بين مجموعتي الرموز:
- precision = (tokens in both) / (tokens in the prediction) -> تعاقب على حشو الإجابة ببيانات غير مفيدة.
- recall = (tokens in both) / (tokens in the gold) -> تعاقب على حذف كلمات gold.
- F1 = المتوسط التوافقي،
2 * P * R / (P + R)-> رقم واحد يعاقب الضعف في أي من الجانبين.
النصوص المتطابقة تحرز 1.0؛ والإجابات التي لا تشترك في أي كلمة تحرز 0.0. احسب واحدة يدوياً: التنبؤ "the cat ran"، والذهبي "the dog sat". الرمز المشترك الوحيد هو the، لذا فالدقة 1/3، والاستدعاء 1/3، وF1 هي 1/3.
ROUGE-N بناء على ملخص المقاييس. بدلاً من الكلمات المفردة، فإنه يحسب n-grams (سلاسل متصلة من n tokens) ويبلغ عن recall: من بين الـ n-grams الموجودة في الـ gold، كم عددها الذي يظهر في الـ prediction؟
def ngrams(tokens, n):
return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]بالنسبة لـ "the cat sat on" و "the cat sat": الأربع وحدات أحادية لـ gold هي the, cat, sat, on؛ تظهر ثلاث وحدات، لذا ROUGE-1 هي 3/4. الثلاث وحدات ثنائية لـ gold هي (the,cat), (cat,sat), (sat,on)؛ تظهر وحدتان، لذا ROUGE-2 هي 2/3. عادة ما تكون ROUGE-2 أقل من ROUGE-1 لأن مطابقة order أصعب من مطابقة الكلمات، وهذا هو بالضبط سبب تقديمك لكليهما.
ما الذي ستبنيه.
token_f1(pred, gold)-> الرمز F1 فوق الرمز الصغير sets؛ أرجع0.0إذا كان أي جانب فارغا أو إذا لم يكن هناك تداخل (لا تقسم أبدا على صفر).rouge_n(pred, gold, n)-> كسر الـ n-grams الخاصة بـ gold التي تظهر في التنبؤ؛0.0عندما لا تحتوي gold على أي n-grams.
كيف يختلف هذا عن المكتبة.للتعليم نقوم بالتحصيل فوق الرمز sets، لذا فإن الكلمة المتكررة تُحسب مرة واحدة. يستخدم رمز الإنتاج F1 (بأسلوب SQuAD) حسابات الـ multiset، لذا يتم وزن النسخ المتكررة، ويضيف ROUGE الحقيقي ROUGE-L، والذي يحسب أطول تسلسل مشترك بدلاً من الـ n-grams الثابتة. الفكرة هي نفسها؛ إصدارات الإنتاج فقط تحسب النسخ المتكررة وترتيب الكلمات بعناية أكبر.
اضغط على Run لمقارنة تنبؤ مقابل مرجع.
اكتب token_f1(pred, gold) لحساب F1 لمجموعتي الرموز الصغيرة (precision = overlap / prediction-tokens، recall = overlap / gold-tokens، F1 = the harmonic mean)، مع إرجاع 0.0 عندما يكون أي جانب فارغ أو لا يوجد تداخل. اكتب rouge_n(pred, gold, n) لإرجاع كسر الـ n-grams الخاصة بـ gold (tuples من الرموز المتجاورة n) التي تظهر في prediction، مع إرجاع 0.0 عندما لا يحتوي gold على أي n-grams.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.