سرفصل‌ها درس 204 از 250 · تنظیم دقیق مفهومی
تنظیم دقیق مفهومی

ردپای حافظه: ۴ بیتی در مقابل ۱۶ بیتی

در اینجا محاسباتی است که مشخص می‌کند آیا یک مدل اصلاً روی سخت‌افزار شما جا می‌گیرد یا نه، و چرا مدل‌های «کوانتایز» شده همه‌جا هستند. وزن‌های یک مدل صرفاً اعداد هستند و هر عدد بسته به دقتش چند بایت فضا اشغال می‌کند. ردپای آن ساده است:

bytes = params * bits_per_param / 8
# (8 bits per byte)

آموزش و استنتاج با دقت کامل اغلب از اعداد اعشاری ۱۶ بیتی (هر کدام ۲ بایت) استفاده می‌کنند. برای اجرای یک مدل روی لپ‌تاپ یا تلفن، آن را کوانتایز می‌کنید: هر وزن را در بیت‌های کمتری ذخیره می‌کنید. کوانتایز ۴ بیتی از یک چهارم بایت‌ها استفاده می‌کند، زیرا ۴ بیت یک چهارم از ۱۶ بیت است. تعداد پارامترها یکسان، یک‌چهارم حافظه.

یک مدل با ۷ میلیارد پارامتر:

16-bit: 7e9 * 16 / 8 = 1.4e10 bytes  ~= 13.04 GiB
 4-bit: 7e9 *  4 / 8 = 3.5e9  bytes  ~=  3.26 GiB   (exactly 1/4)

این تفاوت بین مدلی است که به یک GPU بزرگ نیاز دارد و مدلی که روی یک لپ‌تاپ اجرا می‌شود. دقیقاً به همین دلیل است که یک دستیار روی دستگاه (مانند دستیار هوش مصنوعی این دوره) یک مدل ۴ بیتی را ارائه می‌دهد: هزینه کیفیت کم است و برنده بزرگ در حافظه و پهنای باند است. به همین دلیل است که تنظیم دقیق کارآمد از نظر پارامتر (LoRA) جذاب است؛ شما فقط چند وزن کوچکِ آداپتور را روی یک پایه منجمد و احتمالاً کوانتایز شده ذخیره و منتقل می‌کنید.

آنچه این فرمول ساده نادیده می‌گیرد. این فرمول تنها وزن‌ها را محاسبه می‌کند، بنابراین آن را به عنوان حداقل در نظر بگیرید. فرمت‌های واقعی ۴ بیتی همچنین یک مقیاس را برای هر گروه کوچک از وزن‌ها ذخیره می‌کنند، که این امر آن‌ها را به حدود ۴.۵ تا ۵ بیت در هر وزن می‌رساند (یک مدل ۷ بیتی بیشتر به ۴ گیگابایت نزدیک است تا ۳.۲۶ گیگابایت). اجرای مدل به فضایی برای کش کلید/مقدار (KV) نیاز دارد که با طول زمینه (context) افزایش می‌یابد. و آموزش به چیزی بسیار فراتر از وزن‌ها نیاز دارد: آموزش دقیق کامل با بهینه‌ساز Adam، مشتق‌ها و دو وضعیت بهینه‌ساز را برای هر وزن حفظ می‌کند، که در دقت ترکیبی حدود ۱۶ بایت برای هر پارامتر می‌شود، بنابراین تقریباً ۱۰۰ گیگابایت برای یک مدل ۷ میلیارد پارامتری قبل از فعال‌سازی‌ها لازم است. همین شکاف دلیل اصلی وجود LoRA و فاین‌تیونینگ کوانتیزه است.

ما ردپای حافظه را به گیابایت (گیبیگابایت) گزارش می‌کنیم، با تقسیم بایت‌ها بر 1024 ** 3. آن را به صورت یک عدد اعشاری دقیق نگه دارید، گرد نکنید، تا روابط زیر دقیقاً برقرار باشند.

دو تابع بسازید.

  • model_memory(params, bits_per_param) -> ردپای حافظه به صورت گیگابایت به صورت اعشاری: params * bits_per_param / 8 / (1024 ** 3).
  • quantization_savings(params, from_bits, to_bits) -> {"before_gb", "after_gb", "ratio"}، که before_gb و after_gb دو ردپای حافظه هستند و ratio است from_bits / to_bits (مدل کوانتیزه چند برابر کوچک‌تر است).

ریاضیات واقعی و قابل نمره‌دهی است؛ آموزش با GPU که این امکان را فراهم می‌کند، چیزی نیست که این محیط sandbox بتواند اجرا کند. دکمه Run را فشار دهید تا ردپای یک مدل ۷ میلیارد پارامتری را در چند دقت چاپ کند.

نوبت شما

نوشتن model_memory(params, bits_per_param) بازگرداندن ردپای حافظه به صورت عدد اعشاری در گیگابایت (params * bits_per_param / 8 / (1024 ** 3))، و quantization_savings(params, from_bits, to_bits) بازگرداندن {"before_gb", "after_gb", "ratio"} که این دو ردپای حافظه از کجا می‌آیند model_memory و ratio است from_bits / to_bits. گرد نکنند؛ شناورهای دقیق را حفظ کنید تا خروجی ۴ بیت دقیقاً یک‌چهارم مقدار ۱۶ بیت باشد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.