المنهج الدراسي الدرس 221 من 246 · الوحدة 21: النظر داخل النموذج
الوحدة 21: النظر داخل النموذج

ما هي الأجزاء المهمة

لماذا هذا مهم قبل شرح جزء ما، اكتشف ما إذا كان يقوم بأي شيء. إزالة الأجزاء (ablation) هي أرخص تأثير يمكنك قياسه، وهي تغير المكان الذي تنظر إليه.

لكل كتلة في GPT جزء انتباه (يكتب 'attn_out0'، 'attn_out1') وMLP (يكتب 'mlp_out0'، 'mlp_out1'). أزِل واحداً في كل مرة (اضبط مخرجه على الصفر) وقِس الارتفاع في الخسارة المحجوزة. ثم أزِل كل رأس من الرؤوس الأربعة في الكتلة 1 واحداً تلو الآخر باستخدام interp.head_effects(model, X, Y, 1).

أحد المخاطر: إذا أدى رأسان العمل نفسه، فإن إزالة أيٍّ منهما وحده لا تُظهر شيئاً تقريباً. لذا قارن أيضاً ارتفاعات الرؤوس المفردة الأربعة، مجموعةً، بإزالة انتباه الكتلة 1 كله دفعة واحدة. إذا كانت إزالتها معاً تضر أكثر بكثير من المجموع، فإنها يدعم بعضها بعضاً.

الكلمات والرموز في هذا الدرس
النمط، التأثير، الآلية
ثلاثة أنواع من الأدلة: نظرت ورأيت؛ غيرتها وتغيرت النتيجة؛ شرحتها والتفسير تنبأ بحالات جديدة
ablation
إزالة جزء (ضبط مخرجه على صفر) وقياس ما يتغير
دورك

املأ rise للأجزاء الأربعة، وheads1 بارتفاعات الرؤوس المفردة الأربعة، ثم اضبط backup على True إذا كانت إزالة انتباه الكتلة 1 كله تكلّف أكثر من ضعف مجموع رؤوسها منفردة، وbiggest على الجزء الذي تكلّف إزالته أكثر.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.