بتات أقل: float32 و float16 وتوسيع نطاق الخسارة
لماذا هذا مهم الأرقام المخزنة في بتات أقل أسرع في النقل وتستهلك نصف الذاكرة، لذا يتم تدريب النماذج الكبيرة وشحنها بأرقام 16-bit. لكن 16 bits تنكسر بطريقتين يجب عليك معرفتهما.
- Overflow: لا يمكن لـ float16 استيعاب أي قيمة أعلى من 65,504. تصبح القيمة الأكبر قيمة لا نهائية، ثم ينتشر nan عبر التدريب.
- Underflow: لا يمكن لـ float16 حمل القيم الصغيرة جدا أيضا؛ أي قيمة أصغر من حوالي 3e-8 تقرب إلى 0 بالضبط. تتلاشى التدرجات الصغيرة.
توسيع نطاق الخسارة
اضرب الخسارة في رقم كبير S (مثل 1,024) قبل عملية backward pass، بحيث يصبح كل gradient أكبر بـ S مرة ويبقى فوق خط الـ underflow. حول القيمة إلى float16، ثم اقسم على S مرة أخرى في float32 قبل عملية التحديث. تنجو الـ gradients.
تُخزن نقاط التفتيش المسجلة الخاصة بالدورة في float16 لهذا السبب تحديداً: نصف الحجم.
تتدرب معظم النماذج الكبيرة اليوم بتنسيق ثالث، وهو bfloat16: 16 بت مثل float16، لكنه يحافظ على نطاق float32 (حتى حوالي 3e38) ويتخلى عن الدقة بدلا من ذلك (حوالي 3 أرقام معنوية). تتوقف مشاكل Overflow و Underflow غالبا، لذا نادرا ما نحتاج إلى loss scaling معه؛ الثمن هو التقريب، وهذا هو السبب في بقاء weights و update في float32.
الكلمات والرموز في هذا الدرس
- float16 أرقام
- 16-bit: نصف الذاكرة، تجاوز السعة فوق 65,504، القيم الصغيرة تصبح 0
- تم التسجيل
- قم بتشغيل الدورة التدريبية مرة واحدة وشحنها لك لتدرسها
اكتب to_f16(g) (تحويل إلى float16 ثم العودة إلى float32) و scaled_to_f16(g, S) (الضرب في S، التحويل، التحويل العكسي، القسمة على S). اضبط lost_plain و lost_scaled على كسر التدرجات الصغيرة المعطاة التي تصبح صفراً تماماً بكل طريقة.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.