سرفصل‌ها درس 202 از 246 · ماژول 19: بزرگ‌تر، و چقدر بهتر (قوانین مقیاس)
ماژول 19: بزرگ‌تر، و چقدر بهتر (قوانین مقیاس)

برازش یک قانون توانی با یک کف

چرا مهم است «بزرگ‌تر بهتر است» برای برنامه‌ریزی بی‌فایده است. «زیان مثل وزن‌ها به توان -0.5، به سوی کف 1.6، پایین می‌آید» به شما اجازه می‌دهد روی اجرایی که هزینه‌اش را نپرداخته‌اید عدد بگذارید. به دست آوردن آن عدد، و اینکه چقدر به آن مطمئنید، همان مهارت است.

شکلی که بر بیشتر داده‌های مقیاس برازش می‌شود:

فرمول: loss = E + A N^(-alpha)

N تعداد وزن‌هاست، alpha نما (اینکه چقدر سریع بهتر می‌شود)، و E کف: زیانی که هیچ مدلی از این خانواده نمی‌تواند روی این داده شکستش دهد. بخشی از آن پیش‌بینی‌ناپذیری متن است؛ بخشی محدودیت خود خانواده (این مدل فقط 8 نویسه به عقب را می‌بیند). یک خانوادهٔ متفاوت، مثلاً یکی که دورتر به عقب می‌خواند، کف پایین‌تری دارد. بدون کف، برازشی روی مدل‌های کوچک سود مدل‌های بزرگ را بیش از واقع برآورد می‌کند.

چگونه برازشش کنیم: برای هر کف نامزد E میان 0 و درست زیر کوچک‌ترین زیان، لگاریتم بگیرید، log(loss - E) = log A - alpha log N، که یک خط راست است، و آن را با کمترین مربعات برازش کنید. Eای را نگه دارید که منحنی‌اش کوچک‌ترین مربع خطا را روی خود زیان‌ها دارد.

میله‌های خطا: برای هر اندازه 3 بذر هست. بارها دوباره برازش کنید، هر بار برای هر اندازه یک بذر را تصادفی برگزینید (یک bootstrap)، و به پراکندگی alpha نگاه کنید. صحنه را تماشا کنید: همان نقطه‌ها، منحنی برازش‌شده با و بدون کف، و نوار برازش‌های bootstrap.

واژه‌ها و نمادهای این درس
قانون توانی
y = A x^-alpha: یک خط راست روی محورهای لگاریتمی-لگاریتمی
نما (alpha، beta)
اینکه زیان با وزن‌های بیشتر (alpha) یا دادهٔ بیشتر (beta) چقدر سریع پایین می‌آید
کف (E)
زیانی که هیچ مدلی نمی‌تواند روی این داده شکستش دهد
توکن
اینجا، یک پیش‌بینی: یک نویسه
bootstrap
برازش دوباره روی دادهٔ دوباره نمونه‌گیری‌شده برای دیدن اینکه یک عدد برازش‌شده چقدر جابه‌جا می‌شود
نوبت شما

fit(N, loss) را بنویسید که (E, A, alpha) را همان‌طور که توصیف شد برمی‌گرداند (400 کف نامزد از 0 تا 0.999 x کوچک‌ترین زیان). اجراهای 1.5 میلیون توکنی (یک میانگین برای هر عرض) را در main برازش کنید، سپس 100 برازش دوبارهٔ bootstrap اجرا کنید و interval را برابر صدک‌های 5 و 95 alpha قرار دهید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.