المنهج الدراسي الدرس 223 من 246 · الوحدة 21: النظر داخل النموذج
الوحدة 21: النظر داخل النموذج

ميزات أكثر من الغرفة: التراكب

لماذا هذا مهم لو كان كل وحدة تعني شيئا واحدا، لكانت قراءة الشبكة سهلة. عادة لا تفعل ذلك، ويظهر النموذج التعليمي لـ Elhage et al. (2022) السبب: يمكن للشبكة تخزين ميزات أكثر مما لديها من أرقام، طالما أن الميزات نادرا ما تظهر معا.

اللعبة: 5 ميزات، كل واحدة منها 0 معظم الوقت وإلا فهي رقم بين 0 و 1. مصفوفة W (بقياس 2 في 5) تضغطها إلى رقمين فقط، h = W x، ويقرأها النموذج كـ relu(WT h + b). الميزة i تهم بمقدار 0.9i في الخسارة (الميزة 0 هي الأكثر). العمود i في W هو الاتجاه الذي تُخزن فيه الميزة i؛ العمود القريب من الصفر يعني أن الميزة قد حُذفت.

interp.superposition(sparsity=s) يدربها (s = احتمال أن تكون كل ميزة 0). interp.stored(W) تسرد الميزات التي احتفظت بها و interp.angles(W) الزوايا بينها.

تنبؤ أول: عندما تكون الميزات نادرا ما تكون مفعلة (sparsity 0.97)، كم عدداً من الـ 5 يمكن لـ 2 رقمين الاحتفاظ به؟

الكلمات والرموز في هذا الدرس
superposition
تخزين ميزات أكثر مما يوجد من أرقام، كاتجاهات نادرا ما تجتمع معاً
دورك

اضبط my_guess على رقم من 2 إلى 5. درّب عند التناثر 0 و0.7 و0.97 (البذرة 0) واملأ kept[s] بعدد الميزات المخزّنة، وsmallest_angle[s] بأصغر زاوية بين ميزتين مخزّنتين.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.