اجراهای کوچک خودتان، با هزینه
چرا مهم است مقیاس گزارهای دربارهٔ هزینه است: به ازای هر واحد محاسبه چقدر بهتر. پس هر اجرا یک برچسب قیمت لازم دارد، و برچسب قیمت آموزش بهطرز شگفتانگیزی ساده است.
آموزش حدود 6 عملیات برای هر وزن در هر توکن هزینه دارد: 2 برای گذر رو به جلو (یک ضرب، یک جمع برای هر وزن) و حدود 4 برای گذر رو به عقب (گرادیانها برای ورودیها و برای وزنها). این همان قاعدهٔ دفتر FLOP است که از خط شروع به کار بردهاید: scaling.flops(weights, tokens).
اینجا سه مدل کوچک را زنده آموزش میدهید، هر کدام روی 32,000 توکن از متن دوره، با هزینههایی تقریباً 7 برابر فاصله.
واژهها و نمادهای این درس
- توکن
- اینجا، یک پیشبینی: یک نویسه
- FLOPها (6 N D)
- هزینهٔ آموزش: حدود 6 عملیات برای هر وزن در هر توکن
عرضهای 4، 16 و 64 را هر کدام برای 32,000 توکن آموزش دهید (scaling.train(model, 32_000) زیان کنار گذاشتهشده را برمیگرداند). runs را برای هر عرض با وزنها، FLOPها و زیان پر کنید. سپس cost_ratio را تنظیم کنید: اجرای عرض 64 چند برابر اجرای عرض 4 هزینه داشت.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.