أوزان أصغر (quantisation)
لماذا هذا مهم يتم تخزين النماذج وتشغيلها كأرقام، ومعظم الأرقام لا تحتاج إلى 32 بت. تخزين كل وزن في 8 أو 4 بت يجعل النموذج أصغر بـ 4 أو 8 مرات وغالباً أسرع، وهذا هو السبب في ملاءمة النماذج الكبيرة على أجهزة الكمبيوتر المحمولة والهواتف. السؤال هو ما هي التكلفة.
أبسط مخطط، لكل صف في كل مصفوفة أوزان: ابحث عن أكبر قيمة مطلقة، وقسم الصف إلى 2^(bits - 1) - 1 من الخطوات المتساوية على كل جانب من الصفر، وقرب كل وزن إلى أقرب خطوة. قم بتخزين الخطوات المقربة (أعداد صحيحة صغيرة) ومقياس واحد لكل صف.
أرقام صغيرة
Row [0.9, -0.3, 0.05] عند 4 بت: 7 خطوات لكل جانب؛ المقياس 0.9 / 7 = 0.129. 0.9 -> 7 خطوات -> 0.9؛ -0.3 -> -2.33 -> -2 خطوة -> -0.257؛ 0.05 -> 0.39 -> 0 خطوة -> 0. يختفي الوزن الصغير.
الكلمات والرموز في هذا الدرس
- quantisation
- تخزين الأوزان في بتات أقل عن طريق تقريبها إلى خطوات قليلة
اكتب quantize_row(w, bits) كما هو موضح. ثم حدد my_guess: تغير الفقد باللغة الإنجليزية الذي تتوقعه عند 8 و 4 بت، واملأ measured لـ 8 و 4 و 3 و 2 بت باستخدام adapt.quantize (فهو يطبق نفس القاعدة على كل مصفوفة).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.