المنهج الدراسي الدرس 118 من 246 · الوحدة 10: الشبكات التي ترى (CNNs)
الوحدة 10: الشبكات التي ترى (CNNs)

بتات أقل: float32 و float16 وتوسيع نطاق الخسارة

لماذا هذا مهم الأرقام المخزنة في بتات أقل أسرع في النقل وتستهلك نصف الذاكرة، لذا يتم تدريب النماذج الكبيرة وشحنها بأرقام 16-bit. لكن 16 bits تنكسر بطريقتين يجب عليك معرفتهما.

  • Overflow: لا يمكن لـ float16 استيعاب أي قيمة أعلى من 65,504. تصبح القيمة الأكبر قيمة لا نهائية، ثم ينتشر nan عبر التدريب.
  • Underflow: لا يمكن لـ float16 حمل القيم الصغيرة جدا أيضا؛ أي قيمة أصغر من حوالي 3e-8 تقرب إلى 0 بالضبط. تتلاشى التدرجات الصغيرة.

توسيع نطاق الخسارة

اضرب الخسارة في رقم كبير S (مثل 1,024) قبل عملية backward pass، بحيث يصبح كل gradient أكبر بـ S مرة ويبقى فوق خط الـ underflow. حول القيمة إلى float16، ثم اقسم على S مرة أخرى في float32 قبل عملية التحديث. تنجو الـ gradients.

تُخزن نقاط التفتيش المسجلة الخاصة بالدورة في float16 لهذا السبب تحديداً: نصف الحجم.

تتدرب معظم النماذج الكبيرة اليوم بتنسيق ثالث، وهو bfloat16: 16 بت مثل float16، لكنه يحافظ على نطاق float32 (حتى حوالي 3e38) ويتخلى عن الدقة بدلا من ذلك (حوالي 3 أرقام معنوية). تتوقف مشاكل Overflow و Underflow غالبا، لذا نادرا ما نحتاج إلى loss scaling معه؛ الثمن هو التقريب، وهذا هو السبب في بقاء weights و update في float32.

الكلمات والرموز في هذا الدرس
float16
أرقام
16-bit: نصف الذاكرة، تجاوز السعة فوق 65,504، القيم الصغيرة تصبح 0
تم التسجيل
قم بتشغيل الدورة التدريبية مرة واحدة وشحنها لك لتدرسها
دورك

اكتب to_f16(g) (تحويل إلى float16 ثم العودة إلى float32) و scaled_to_f16(g, S) (الضرب في S، التحويل، التحويل العكسي، القسمة على S). اضبط lost_plain و lost_scaled على كسر التدرجات الصغيرة المعطاة التي تصبح صفراً تماماً بكل طريقة.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.