ردپای حافظه: ۴ بیتی در مقابل ۱۶ بیتی
در اینجا محاسباتی است که مشخص میکند آیا یک مدل اصلاً روی سختافزار شما جا میگیرد یا نه، و چرا مدلهای «کوانتایز» شده همهجا هستند. وزنهای یک مدل صرفاً اعداد هستند و هر عدد بسته به دقتش چند بایت فضا اشغال میکند. ردپای آن ساده است:
bytes = params * bits_per_param / 8
# (8 bits per byte)آموزش و استنتاج با دقت کامل اغلب از اعداد اعشاری ۱۶ بیتی (هر کدام ۲ بایت) استفاده میکنند. برای اجرای یک مدل روی لپتاپ یا تلفن، آن را کوانتایز میکنید: هر وزن را در بیتهای کمتری ذخیره میکنید. کوانتایز ۴ بیتی از یک چهارم بایتها استفاده میکند، زیرا ۴ بیت یک چهارم از ۱۶ بیت است. تعداد پارامترها یکسان، یکچهارم حافظه.
یک مدل با ۷ میلیارد پارامتر:
16-bit: 7e9 * 16 / 8 = 1.4e10 bytes ~= 13.04 GiB
4-bit: 7e9 * 4 / 8 = 3.5e9 bytes ~= 3.26 GiB (exactly 1/4)این تفاوت بین مدلی است که به یک GPU بزرگ نیاز دارد و مدلی که روی یک لپتاپ اجرا میشود. دقیقاً به همین دلیل است که یک دستیار روی دستگاه (مانند دستیار هوش مصنوعی این دوره) یک مدل ۴ بیتی را ارائه میدهد: هزینه کیفیت کم است و برنده بزرگ در حافظه و پهنای باند است. به همین دلیل است که تنظیم دقیق کارآمد از نظر پارامتر (LoRA) جذاب است؛ شما فقط چند وزن کوچکِ آداپتور را روی یک پایه منجمد و احتمالاً کوانتایز شده ذخیره و منتقل میکنید.
آنچه این فرمول ساده نادیده میگیرد. این فرمول تنها وزنها را محاسبه میکند، بنابراین آن را به عنوان حداقل در نظر بگیرید. فرمتهای واقعی ۴ بیتی همچنین یک مقیاس را برای هر گروه کوچک از وزنها ذخیره میکنند، که این امر آنها را به حدود ۴.۵ تا ۵ بیت در هر وزن میرساند (یک مدل ۷ بیتی بیشتر به ۴ گیگابایت نزدیک است تا ۳.۲۶ گیگابایت). اجرای مدل به فضایی برای کش کلید/مقدار (KV) نیاز دارد که با طول زمینه (context) افزایش مییابد. و آموزش به چیزی بسیار فراتر از وزنها نیاز دارد: آموزش دقیق کامل با بهینهساز Adam، مشتقها و دو وضعیت بهینهساز را برای هر وزن حفظ میکند، که در دقت ترکیبی حدود ۱۶ بایت برای هر پارامتر میشود، بنابراین تقریباً ۱۰۰ گیگابایت برای یک مدل ۷ میلیارد پارامتری قبل از فعالسازیها لازم است. همین شکاف دلیل اصلی وجود LoRA و فاینتیونینگ کوانتیزه است.
ما ردپای حافظه را به گیابایت (گیبیگابایت) گزارش میکنیم، با تقسیم بایتها بر 1024 ** 3. آن را به صورت یک عدد اعشاری دقیق نگه دارید، گرد نکنید، تا روابط زیر دقیقاً برقرار باشند.
دو تابع بسازید.
model_memory(params, bits_per_param)-> ردپای حافظه به صورت گیگابایت به صورت اعشاری:params * bits_per_param / 8 / (1024 ** 3).quantization_savings(params, from_bits, to_bits)->{"before_gb", "after_gb", "ratio"}، کهbefore_gbوafter_gbدو ردپای حافظه هستند وratioاستfrom_bits / to_bits(مدل کوانتیزه چند برابر کوچکتر است).
ریاضیات واقعی و قابل نمرهدهی است؛ آموزش با GPU که این امکان را فراهم میکند، چیزی نیست که این محیط sandbox بتواند اجرا کند. دکمه Run را فشار دهید تا ردپای یک مدل ۷ میلیارد پارامتری را در چند دقت چاپ کند.
نوشتن model_memory(params, bits_per_param) بازگرداندن ردپای حافظه به صورت عدد اعشاری در گیگابایت (params * bits_per_param / 8 / (1024 ** 3))، و quantization_savings(params, from_bits, to_bits) بازگرداندن {"before_gb", "after_gb", "ratio"} که این دو ردپای حافظه از کجا میآیند model_memory و ratio است from_bits / to_bits. گرد نکنند؛ شناورهای دقیق را حفظ کنید تا خروجی ۴ بیت دقیقاً یکچهارم مقدار ۱۶ بیت باشد.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.