المنهج الدراسي الدرس 231 من 246 · الوحدة 22: الحكم على الادعاءات
الوحدة 22: الحكم على الادعاءات

تغيير طريقة إزالة الجزء يغير الإجابة

لماذا هذا مهم "إزالة هذا الجزء ترفع الخسارة بمقدار X" تبدو كحقيقة عن الجزء. جزء منها هو حقيقة عن كيفية إزالته.

في Module 21 قمت بإزالة أجزاء من GPT عن طريق ضبط مخرجاتها على الصفر. لكن بقية الشبكة لم ترَ أبدا صفيرا هناك أثناء التدريب: قد يكون الصفر مدخلا لم يسبق لها لقاؤه، لذا فإن الضرر يقيس الصدمة بالإضافة إلى فقدان المعلومات. الإزالة الأكثر ليونة تستبدل المخرج بـ average الخاص به عبر مدخلات عديدة (mean ablation): يتوقف الجزء عن حمل أي شيء عن هذا المدخل، لكن الطبقة التالية لا تزال تحصل على قيمة بالحجم المعتاد.

قم بقياس كليهما للأجزاء الأربعة: 'attn_out0'، 'mlp_out0'، 'attn_out1'، 'mlp_out1'. المتوسط يأتي من cache[site].mean((0, 1)).

توقع أولا: بالنسبة لـ MLP الخاص بالكتلة 0، هل ستكون تكلفة الـ ablation أقل من التصفير، أم متساوية تقريبًا؟

الكلمات والرموز في هذا الدرس
تعني الاستئصال
استبدال مخرجات الجزء بمتوسطها بدلا من الصفر
دورك

اضبط my_guess على "less" أو "same". املأ zero[site] وmean[site] بالارتفاع في الخسارة. اضبط most_overstated على الجزء الذي يبالغ فيه التصفير في تقدير الأثر أكثر من غيره.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.