دروازه: یک اجرای آموزش را برنامهریزی کنید (هوش مصنوعی خاموش)
چرا مهم است این تصمیمی است که قوانین مقیاس برای آن وجود دارند: یک بودجه و یک فرصت دارید. آن را از روی شواهد برنامهریزی کنید.
قواعد دروازه: دستیار هوش مصنوعی خاموش. 3 x 10^10 FLOP برای یک اجرای مدل نویسهای دوره، روی همان متن شبکه، دارید. یک عرض (توانی از 2) و تعداد توکنهایی را که بودجه آنگاه اجازه میدهد انتخاب کنید. از شبکهٔ ثبتشده هر طور که دوست دارید استفاده کنید: برازشها، جدولها، هر دو.
بررسی زیان انتخاب شما و بهترین انتخاب ممکن را با برازش دومتغیرهٔ دوره پیشبینی میکند و وقتی قبول میکند که مال شما در فاصلهٔ 0.02 از بهترین باشد و بودجه را خرج کرده باشید (در فاصلهٔ 1%).
واژهها و نمادهای این درس
- قانون مقیاس
- اینکه زیان با رشد وزنها، داده یا محاسبه چگونه پایین میآید، معمولاً یک قانون توانی به سوی یک کف
- توکن
- اینجا، یک پیشبینی: یک نویسه
- FLOPها (6 N D)
- هزینهٔ آموزش: حدود 6 عملیات برای هر وزن در هر توکن
width و tokens را تنظیم کنید.
هوش مصنوعی خاموش: در این یکی مربی، راهنمایی یا راهحل کاملی نیست. فقط فکر خودتان.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.