سرفصل‌ها درس 204 از 246 · ماژول 19: بزرگ‌تر، و چقدر بهتر (قوانین مقیاس)
ماژول 19: بزرگ‌تر، و چقدر بهتر (قوانین مقیاس)

بهترین استفاده از یک بودجهٔ ثابت

چرا مهم است با یک بودجهٔ محاسبهٔ ثابت C، یک مدل بزرگ‌تر توکن‌های کمتری می‌بیند (C = 6 N D). خیلی بزرگ و گرسنه می‌ماند؛ خیلی کوچک و پیش از تمام شدن بودجه پر می‌شود. در 2022 این محاسبه (مقالهٔ «Chinchilla») نشان داد بیشتر مدل‌های بزرگ آن زمان برای داده‌ای که رویش آموزش دیده بودند بسیار بزرگ بودند.

هر دو اثر را با هم برازش کنید:

فرمول: loss = E + A / N^alpha + B / D^beta

scaling.fit_2d آن را بر همهٔ 150 اجرا برازش می‌کند. سپس برای یک بودجهٔ C، هر عرض N مقدار D = C / (6 N) را ثابت می‌کند و فرمول زیان را پیش‌بینی می‌کند: عرضی با کمترین پیش‌بینی را برگزینید. scaling.params_of(width) وزن‌های یک عرض را می‌دهد.

این حوزه اکنون کجاست Hoffmann و همکاران (2022، «Chinchilla») همین شکل دومتغیره را بر مدل‌های زبانی بزرگ برازش کردند و تقسیم بهینه از نظر محاسبه را در حدود 20 توکن آموزشی برای هر وزن یافتند. آزمایشگاه‌ها اکنون اغلب بسیار فراتر از آن آموزش می‌دهند (توکن‌های بسیار بیشتر برای یک مدل کوچک‌تر)، چون یک مدل کوچک‌تر هر بار که پاسخ می‌دهد ارزان‌تر است: بهینه از نظر محاسبه برای آموزش برای استفاده بهینه نیست. و وقتی مدلی را پهن‌تر می‌کنند، وزن‌های آغازین و نرخ‌های یادگیری هر لایه‌اش را دوباره مقیاس می‌دهند (muP، Yang و همکاران 2022) تا بهترین نرخ یادگیری‌ای که روی یک مدل کوچک پیدا شده روی مدل بزرگ هم کار کند: همان مسئله‌ای که درس «مدل‌های پهن‌تر گام‌های کوچک‌تری می‌خواهند» ماژول 13 سنجید.

واژه‌ها و نمادهای این درس
نما (alpha، beta)
اینکه زیان با وزن‌های بیشتر (alpha) یا دادهٔ بیشتر (beta) چقدر سریع پایین می‌آید
توکن
اینجا، یک پیش‌بینی: یک نویسه
FLOPها (6 N D)
هزینهٔ آموزش: حدود 6 عملیات برای هر وزن در هر توکن
بهینه از نظر محاسبه
تقسیم یک بودجهٔ ثابت میان اندازهٔ مدل و داده که کمترین زیان را می‌دهد
نوبت شما

شبکه را در f برازش کنید. plan(f, budget) را بنویسید که عرضی (توانی از 2 از 2 تا 4096) با کمترین زیان پیش‌بینی‌شده را برمی‌گرداند. choice را برای بودجه‌های 1e9، 1e10 و 1e11 FLOP پر کنید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.