بیتهای کمتر: float32، float16 و مقیاسدهی زیان
چرا مهم است اعدادی که با بیتهای کمتر ذخیره میشوند سریعتر جابهجا میشوند و نصف حافظه را میگیرند، پس مدلهای بزرگ با اعداد 16 بیتی آموزش میبینند و عرضه میشوند. اما 16 بیت به دو شکل میشکند که باید بدانید.
- سرریز: float16 نمیتواند هیچ چیز بالای 65,504 را نگه دارد. مقداری بزرگتر به بینهایت تبدیل میشود و سپس nan در آموزش پخش میشود.
- زیرریز: float16 مقدارهای ریز را هم نمیتواند نگه دارد؛ هر چیز کوچکتر از حدود 3e-8 دقیقاً به 0 گرد میشود. گرادیانهای کوچک ناپدید میشوند.
مقیاسدهی زیان
زیان را پیش از گذر رو به عقب در یک عدد بزرگ S (مثلاً 1,024) ضرب کنید، تا هر گرادیان S برابر بزرگتر شود و بالای خط زیرریز بماند. به float16 تبدیل کنید، سپس پیش از بهروزرسانی دوباره در float32 بر S تقسیم کنید. گرادیانها جان سالم به در میبرند.
نقطههای بازرسی ثبتشدهٔ خود دوره دقیقاً به همین دلیل در float16 ذخیره شدهاند: نصف اندازه.
بیشتر مدلهای بزرگ امروز در قالب سومی آموزش میبینند، bfloat16: مثل float16، 16 بیتی است، اما بازهٔ float32 (تا حدود 3e38) را نگه میدارد و به جای آن از دقت میگذرد (حدود 3 رقم معنادار). سرریز و زیرریز بیشتر دیگر مشکل نیستند، پس با آن بهندرت به مقیاسدهی زیان نیاز است؛ بهای آن گرد کردن است، و به همین دلیل وزنها و بهروزرسانی همچنان در float32 نگه داشته میشوند.
واژهها و نمادهای این درس
- float16
- اعداد 16 بیتی: نصف حافظه، سرریز بالای 65,504، مقدارهای ریز 0 میشوند
- RECORDED
- یک اجرای واقعی که دوره یک بار آموزش داده و برای مطالعهٔ شما ارائه میکند
to_f16(g) (تبدیل به float16 و برگشت به float32) و scaled_to_f16(g, S) (ضرب در S، تبدیل، تبدیل برگشتی، تقسیم بر S) را بنویسید. lost_plain و lost_scaled را برابر کسری از گرادیانهای کوچک دادهشده قرار دهید که در هر روش دقیقاً صفر میشوند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.