سرفصل‌ها درس 201 از 246 · ماژول 19: بزرگ‌تر، و چقدر بهتر (قوانین مقیاس)
ماژول 19: بزرگ‌تر، و چقدر بهتر (قوانین مقیاس)

اجراهای کوچک خودتان، با هزینه

چرا مهم است مقیاس گزاره‌ای دربارهٔ هزینه است: به ازای هر واحد محاسبه چقدر بهتر. پس هر اجرا یک برچسب قیمت لازم دارد، و برچسب قیمت آموزش به‌طرز شگفت‌انگیزی ساده است.

آموزش حدود 6 عملیات برای هر وزن در هر توکن هزینه دارد: 2 برای گذر رو به جلو (یک ضرب، یک جمع برای هر وزن) و حدود 4 برای گذر رو به عقب (گرادیان‌ها برای ورودی‌ها و برای وزن‌ها). این همان قاعدهٔ دفتر FLOP است که از خط شروع به کار برده‌اید: scaling.flops(weights, tokens).

اینجا سه مدل کوچک را زنده آموزش می‌دهید، هر کدام روی 32,000 توکن از متن دوره، با هزینه‌هایی تقریباً 7 برابر فاصله.

واژه‌ها و نمادهای این درس
توکن
اینجا، یک پیش‌بینی: یک نویسه
FLOPها (6 N D)
هزینهٔ آموزش: حدود 6 عملیات برای هر وزن در هر توکن
نوبت شما

عرض‌های 4، 16 و 64 را هر کدام برای 32,000 توکن آموزش دهید (scaling.train(model, 32_000) زیان کنار گذاشته‌شده را برمی‌گرداند). runs را برای هر عرض با وزن‌ها، FLOPها و زیان پر کنید. سپس cost_ratio را تنظیم کنید: اجرای عرض 64 چند برابر اجرای عرض 4 هزینه داشت.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.