سرفصل‌ها درس 207 از 246 · ماژول 19: بزرگ‌تر، و چقدر بهتر (قوانین مقیاس)
ماژول 19: بزرگ‌تر، و چقدر بهتر (قوانین مقیاس)

دروازه: یک اجرای آموزش را برنامه‌ریزی کنید (هوش مصنوعی خاموش)

چرا مهم است این تصمیمی است که قوانین مقیاس برای آن وجود دارند: یک بودجه و یک فرصت دارید. آن را از روی شواهد برنامه‌ریزی کنید.

قواعد دروازه: دستیار هوش مصنوعی خاموش. 3 x 10^10 FLOP برای یک اجرای مدل نویسه‌ای دوره، روی همان متن شبکه، دارید. یک عرض (توانی از 2) و تعداد توکن‌هایی را که بودجه آن‌گاه اجازه می‌دهد انتخاب کنید. از شبکهٔ ثبت‌شده هر طور که دوست دارید استفاده کنید: برازش‌ها، جدول‌ها، هر دو.

بررسی زیان انتخاب شما و بهترین انتخاب ممکن را با برازش دومتغیرهٔ دوره پیش‌بینی می‌کند و وقتی قبول می‌کند که مال شما در فاصلهٔ 0.02 از بهترین باشد و بودجه را خرج کرده باشید (در فاصلهٔ 1%).

واژه‌ها و نمادهای این درس
قانون مقیاس
اینکه زیان با رشد وزن‌ها، داده یا محاسبه چگونه پایین می‌آید، معمولاً یک قانون توانی به سوی یک کف
توکن
اینجا، یک پیش‌بینی: یک نویسه
FLOPها (6 N D)
هزینهٔ آموزش: حدود 6 عملیات برای هر وزن در هر توکن
نوبت شما

width و tokens را تنظیم کنید.

هوش مصنوعی خاموش: در این یکی مربی، راهنمایی یا راه‌حل کاملی نیست. فقط فکر خودتان.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.