وزنهای کوچکتر (کوانتیزه کردن)
چرا مهم است مدلها بهصورت عدد ذخیره و اجرا میشوند و بیشتر اعداد به 32 بیت نیاز ندارند. ذخیرهٔ هر وزن در 8 یا 4 بیت یک مدل را 4 یا 8 برابر کوچکتر و اغلب سریعتر میکند، و همینطور است که مدلهای بزرگ روی لپتاپها و گوشیها جا میشوند. پرسش این است که چه هزینهای دارد.
سادهترین طرح، برای هر ردیف هر ماتریس وزن: بزرگترین قدرمطلق را پیدا کنید، ردیف را در هر سوی صفر به 2^(bits - 1) - 1 پلهٔ برابر تقسیم کنید و هر وزن را به نزدیکترین پله گرد کنید. پلههای گردشده (اعداد صحیح کوچک) و یک مقیاس برای هر ردیف را ذخیره کنید.
اعداد کوچک
ردیف [0.9, -0.3, 0.05] در 4 بیت: 7 پله در هر سو؛ مقیاس 0.9 / 7 = 0.129. 0.9 -> 7 پله -> 0.9؛ -0.3 -> -2.33 -> -2 پله -> -0.257؛ 0.05 -> 0.39 -> 0 پله -> 0. وزن کوچک ناپدید میشود.
واژهها و نمادهای این درس
- کوانتیزه کردن
- ذخیرهٔ وزنها با بیتهای کمتر با گرد کردنشان به چند پله
quantize_row(w, bits) را همانطور که توصیف شد بنویسید. سپس my_guess را تنظیم کنید: تغییر زیان انگلیسیای که در 8 و در 4 بیت انتظار دارید، و measured را برای 8، 4، 3 و 2 بیت با استفاده از adapt.quantize (که همان قاعده را بر هر ماتریس اعمال میکند) پر کنید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.