سرفصل‌ها درس 118 از 246 · ماژول 10: شبکه‌هایی که می‌بینند (CNNها)
ماژول 10: شبکه‌هایی که می‌بینند (CNNها)

بیت‌های کمتر: float32، float16 و مقیاس‌دهی زیان

چرا مهم است اعدادی که با بیت‌های کمتر ذخیره می‌شوند سریع‌تر جابه‌جا می‌شوند و نصف حافظه را می‌گیرند، پس مدل‌های بزرگ با اعداد 16 بیتی آموزش می‌بینند و عرضه می‌شوند. اما 16 بیت به دو شکل می‌شکند که باید بدانید.

  • سرریز: float16 نمی‌تواند هیچ چیز بالای 65,504 را نگه دارد. مقداری بزرگ‌تر به بی‌نهایت تبدیل می‌شود و سپس nan در آموزش پخش می‌شود.
  • زیرریز: float16 مقدارهای ریز را هم نمی‌تواند نگه دارد؛ هر چیز کوچک‌تر از حدود 3e-8 دقیقاً به 0 گرد می‌شود. گرادیان‌های کوچک ناپدید می‌شوند.

مقیاس‌دهی زیان

زیان را پیش از گذر رو به عقب در یک عدد بزرگ S (مثلاً 1,024) ضرب کنید، تا هر گرادیان S برابر بزرگ‌تر شود و بالای خط زیرریز بماند. به float16 تبدیل کنید، سپس پیش از به‌روزرسانی دوباره در float32 بر S تقسیم کنید. گرادیان‌ها جان سالم به در می‌برند.

نقطه‌های بازرسی ثبت‌شدهٔ خود دوره دقیقاً به همین دلیل در float16 ذخیره شده‌اند: نصف اندازه.

بیشتر مدل‌های بزرگ امروز در قالب سومی آموزش می‌بینند، bfloat16: مثل float16، 16 بیتی است، اما بازهٔ float32 (تا حدود 3e38) را نگه می‌دارد و به جای آن از دقت می‌گذرد (حدود 3 رقم معنادار). سرریز و زیرریز بیشتر دیگر مشکل نیستند، پس با آن به‌ندرت به مقیاس‌دهی زیان نیاز است؛ بهای آن گرد کردن است، و به همین دلیل وزن‌ها و به‌روزرسانی همچنان در float32 نگه داشته می‌شوند.

واژه‌ها و نمادهای این درس
float16
اعداد 16 بیتی: نصف حافظه، سرریز بالای 65,504، مقدارهای ریز 0 می‌شوند
RECORDED
یک اجرای واقعی که دوره یک بار آموزش داده و برای مطالعهٔ شما ارائه می‌کند
نوبت شما

to_f16(g) (تبدیل به float16 و برگشت به float32) و scaled_to_f16(g, S) (ضرب در S، تبدیل، تبدیل برگشتی، تقسیم بر S) را بنویسید. lost_plain و lost_scaled را برابر کسری از گرادیان‌های کوچک داده‌شده قرار دهید که در هر روش دقیقاً صفر می‌شوند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.