سرفصل‌ها درس 214 از 246 · ماژول 20: سازگار کردن ارزان یک مدل آموزش‌دیده
ماژول 20: سازگار کردن ارزان یک مدل آموزش‌دیده

وزن‌های کوچک‌تر (کوانتیزه کردن)

چرا مهم است مدل‌ها به‌صورت عدد ذخیره و اجرا می‌شوند و بیشتر اعداد به 32 بیت نیاز ندارند. ذخیرهٔ هر وزن در 8 یا 4 بیت یک مدل را 4 یا 8 برابر کوچک‌تر و اغلب سریع‌تر می‌کند، و همین‌طور است که مدل‌های بزرگ روی لپ‌تاپ‌ها و گوشی‌ها جا می‌شوند. پرسش این است که چه هزینه‌ای دارد.

ساده‌ترین طرح، برای هر ردیف هر ماتریس وزن: بزرگ‌ترین قدرمطلق را پیدا کنید، ردیف را در هر سوی صفر به 2^(bits - 1) - 1 پلهٔ برابر تقسیم کنید و هر وزن را به نزدیک‌ترین پله گرد کنید. پله‌های گردشده (اعداد صحیح کوچک) و یک مقیاس برای هر ردیف را ذخیره کنید.

اعداد کوچک

ردیف [0.9, -0.3, 0.05] در 4 بیت: 7 پله در هر سو؛ مقیاس 0.9 / 7 = 0.129. 0.9 -> 7 پله -> 0.9؛ -0.3 -> -2.33 -> -2 پله -> -0.257؛ 0.05 -> 0.39 -> 0 پله -> 0. وزن کوچک ناپدید می‌شود.

واژه‌ها و نمادهای این درس
کوانتیزه کردن
ذخیرهٔ وزن‌ها با بیت‌های کمتر با گرد کردنشان به چند پله
نوبت شما

quantize_row(w, bits) را همان‌طور که توصیف شد بنویسید. سپس my_guess را تنظیم کنید: تغییر زیان انگلیسی‌ای که در 8 و در 4 بیت انتظار دارید، و measured را برای 8، 4، 3 و 2 بیت با استفاده از adapt.quantize (که همان قاعده را بر هر ماتریس اعمال می‌کند) پر کنید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.