سرفصل‌ها درس 205 از 246 · ماژول 19: بزرگ‌تر، و چقدر بهتر (قوانین مقیاس)
ماژول 19: بزرگ‌تر، و چقدر بهتر (قوانین مقیاس)

یک اجرای بزرگ‌تر را پیش‌بینی کنید، سپس ببینیدش

چرا مهم است برازشی که فقط اجراهایی را که دارید توصیف می‌کند یک خلاصه است. برازشی که اجرایی را که نداشتید پیش‌بینی می‌کند یک قانون است، دست‌کم فعلاً. این هم آزمونش.

دوره پس از تمام شدن شبکه یک اندازهٔ دیگر آموزش داد: عرض 2048، حدود 375,000 وزن، دو برابر بزرگ‌ترین در شبکه، روی کل 1.5 میلیون توکن، 3 بذر. زیانش را ندیده‌اید.

از قانون توانی درس 3 (هر بار یک عرض، 1.5 میلیون توکن) برای پیش‌بینی‌اش استفاده کنید. عدد را در کد ثبت کنید، سپس نتیجهٔ ثبت‌شده را باز کنید.

واژه‌ها و نمادهای این درس
قانون توانی
y = A x^-alpha: یک خط راست روی محورهای لگاریتمی-لگاریتمی
توکن
اینجا، یک پیش‌بینی: یک نویسه
نوبت شما

شبکهٔ 1.5 میلیون توکنی را با scaling.fit_power_law برازش کنید، prediction را برای عرض 2048 (scaling.params_of(2048) وزن) تنظیم کنید، سپس actual (میانگین scaling.recorded_bigger()) و error را تنظیم کنید. آن را با خطای حس درونی‌تان در درس 1 مقایسه کنید و better_than_my_gut را تنظیم کنید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.