سرفصل‌ها درس 154 از 246 · ماژول 13: توجه و ترنسفورمرها
ماژول 13: توجه و ترنسفورمرها

مدل‌های پهن‌تر گام‌های کوچک‌تری می‌خواهند

چرا مهم است نرخ یادگیری‌ای که برای یک مدل کوچک کار می‌کند می‌تواند یک مدل بزرگ‌تر را خراب کند. تیم‌هایی که مدل‌های بزرگ آموزش می‌دهند برای فهمیدن این پول واقعی خرج می‌کنند؛ شما می‌توانید آن را از اجراهای ثبت‌شده بخوانید.

آزمایش ثبت‌شدهٔ gpt-width-lr GPT ریز را در عرض‌های 32، 64 و 128، هر کدام با نرخ‌های یادگیری 0.001، 0.003 و 0.01، برای 2,000 گام، هر کدام با سه بذر، آموزش داد و در پایان زیان روی متن کنار گذاشته‌شده را سنجید.

پیش از نگاه کردن پیش‌بینی کنید: کدام نرخ یادگیری برای پهن‌ترین مدل، 128، بهترین است؟

واژه‌ها و نمادهای این درس
پرس‌وجو، کلید، مقدار
آنچه یک جایگاه دنبالش است؛ آنچه هر جایگاه برای جور شدن عرضه می‌کند؛ آنچه تحویل می‌دهد
نوبت شما

my_guess را برابر یکی از 0.001، 0.003 یا 0.01 قرار دهید، سپس mean_loss را پر کنید: (width, lr) به میانگین زیان نهایی کنار گذاشته‌شده روی سه بذر (exp.seeds(d=..., lr=...) سه اجرا را می‌دهد؛ زیان نهایی کنار گذاشته‌شدهٔ هر اجرا run.val_loss[-1][1] است). سپس best_lr را پر کنید: عرض به نرخ یادگیری با کمترین میانگین.

سپس با قاعدهٔ نویز ماژول 9 بگویید کدام تنظیم‌ها واقعاً فرق دارند. با سه بذر برای هر کدام، دو میانگین فقط وقتی واقعاً فرق دارند که فاصله بیش از حدود 2 × s × sqrt(2/3) باشد، که s بزرگ‌تر از پراکندگی بذر دو تنظیم است (np.std سه مقدار). هر چیز نزدیک‌تر مساوی است.

ties را تنظیم کنید: عرض به فهرست نرخ‌های یادگیری‌ای که با بهترینِ آن عرض مساوی‌اند (از جمله بهترین).

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.