سرفصل‌ها درس 206 از 246 · ماژول 19: بزرگ‌تر، و چقدر بهتر (قوانین مقیاس)
ماژول 19: بزرگ‌تر، و چقدر بهتر (قوانین مقیاس)

جهش‌های واقعی، یا ترفندی از سنجه؟

چرا مهم است سرخط‌ها می‌گویند مدل‌های بزرگ در اندازه‌ای ناگهان توانایی‌هایی به دست می‌آورند: «ظهور». گاهی جهش واقعی است. اغلب توانایی تمام مدت به‌طور هموار بهتر شده و سنجه آن را ناگهانی جلوه داده است (Schaeffer، Miranda و Koyejo، 2023). دانستن اینکه کدام کدام است تعیین می‌کند آیا می‌توانید پیش‌بینی‌اش کنید.

شبکه دو امتیاز روی همان متن کنار گذاشته‌شده ثبت کرد:

  • درستی هر نویسه p: سهم جایگاه‌هایی که بهترین حدس مدل برای نویسهٔ بعدی درست است. با اندازه به‌طور هموار بالا می‌رود، در 1.5 میلیون توکن از 0.27 تا 0.53.
  • هر 5 درست: سهم جایگاه‌هایی که 5 نویسهٔ بعدی را بدون هیچ اشتباهی می‌نویسد. همه یا هیچ.

اگر هر نویسه به‌طور مستقل با احتمال p درست بود، پنج تا پشت سر هم p^5 مواقع درست بودند. اول آن را در برابر شبکه بررسی کنید. سپس ببینید نما با مهارتی که به‌طور یکنواخت بهتر می‌شود چه می‌کند. این مدل‌های کوچک هرگز آن‌قدر پیش نمی‌روند که اثر کامل را نشان دهند، پس بخش دوم یک تصویرسازی آشکارا برچسب‌خورده است، نه یک سنجش: درستی هر نویسه که در ده گام برابر از 0.5 تا 0.95 بالا می‌رود.

واژه‌ها و نمادهای این درس
نما (alpha، beta)
اینکه زیان با وزن‌های بیشتر (alpha) یا دادهٔ بیشتر (beta) چقدر سریع پایین می‌آید
توکن
اینجا، یک پیش‌بینی: یک نویسه
ظهور
توانایی‌ای که به نظر می‌رسد در اندازه‌ای ناگهان ظاهر می‌شود؛ گاهی ساختهٔ یک سنجهٔ همه-یا-هیچ
نوبت شما

pairs را پر کنید: برای هر عرض در 1.5 میلیون توکن، (p, p^5, هر-5-درست سنجیده‌شده). سپس برای تصویرسازی all10 را برابر p^10 برای p_even و late_share را برابر سهمی از کل افزایش all10 که در 3 گام آخر از 10 گام رخ می‌دهد قرار دهید. در پایان case را تنظیم کنید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.