ميزات أكثر من الغرفة: التراكب
لماذا هذا مهم لو كان كل وحدة تعني شيئا واحدا، لكانت قراءة الشبكة سهلة. عادة لا تفعل ذلك، ويظهر النموذج التعليمي لـ Elhage et al. (2022) السبب: يمكن للشبكة تخزين ميزات أكثر مما لديها من أرقام، طالما أن الميزات نادرا ما تظهر معا.
اللعبة: 5 ميزات، كل واحدة منها 0 معظم الوقت وإلا فهي رقم بين 0 و 1. مصفوفة W (بقياس 2 في 5) تضغطها إلى رقمين فقط، h = W x، ويقرأها النموذج كـ relu(WT h + b). الميزة i تهم بمقدار 0.9i في الخسارة (الميزة 0 هي الأكثر). العمود i في W هو الاتجاه الذي تُخزن فيه الميزة i؛ العمود القريب من الصفر يعني أن الميزة قد حُذفت.
interp.superposition(sparsity=s) يدربها (s = احتمال أن تكون كل ميزة 0). interp.stored(W) تسرد الميزات التي احتفظت بها و interp.angles(W) الزوايا بينها.
تنبؤ أول: عندما تكون الميزات نادرا ما تكون مفعلة (sparsity 0.97)، كم عدداً من الـ 5 يمكن لـ 2 رقمين الاحتفاظ به؟
الكلمات والرموز في هذا الدرس
- superposition
- تخزين ميزات أكثر مما يوجد من أرقام، كاتجاهات نادرا ما تجتمع معاً
اضبط my_guess على رقم من 2 إلى 5. درّب عند التناثر 0 و0.7 و0.97 (البذرة 0) واملأ kept[s] بعدد الميزات المخزّنة، وsmallest_angle[s] بأصغر زاوية بين ميزتين مخزّنتين.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.