المنهج الدراسي الدرس 219 من 246 · الوحدة 21: النظر داخل النموذج
الوحدة 21: النظر داخل النموذج

يحتاج المسبار إلى تحكم

لماذا هذا مهم يعتبر الـ probe (وهو linear classifier صغير تم تدريبه على ناقلات النموذج الداخلية) الأداة الأكثر شيوعاً في مجال interpretability، والأكثر سوء تفسير. قد تعني الدقة العالية أن النموذج هو من قام بالحساب، أو أن الـ probe هو من قام بذلك.

تعرّفت على المسابير الخطية في الوحدة 18. هنا، درّب واحداً على متجهات GPT في مكانين: 'embed' (تضمين الحرف زائد موضعه، قبل أي طبقة) و'resid1' (بعد الكتلة الأولى). ثلاثة أسئلة، كل منها تسمية 0/1 لكل حرف:

  • 'vowel': هل هذا الحرف حرف علة؟
  • 'control': هل هي واحدة من b، c، g، n، r، s، t؟ مجموعة لا تعني شيئا، تم اختيارها لتكون شائعة مثل حروف العلة (28.7% من الحروف، مقابل 28.8%).
  • 'third letter': هل هو الحرف الثالث في كلمته، أم بعده؟

تنبؤ أول: إذا كانت درجات فحص vowel قريبة من 100%، فهل يظهر ذلك أن النموذج قد تعلم ما هو vowel؟

الكلمات والرموز في هذا الدرس
قابلية التفسير
معرفة ما تحسبه الشبكة المدربة في الداخل، والتحقق من ذلك
probe
مصنف خطي صغير تم تدريبه لقراءة شيء ما من المتجهات الداخلية للنموذج
دورك

اضبط my_guess على "yes" أو "no". املأ scores[kind][site] بـ probe(site, kind) للأنواع الثلاثة والموقعين. ثم اضبط computed على النوع الواحد الذي يظهر مسباره شيئا استنتجته الطبقة (إنه أسهل بكثير بعد الكتلة من التضمين وحده).

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.