grokking: اول حفظ کن، بعداً بفهم
چرا مهم است Power و همکاران (2022) دیدند یک شبکه به درستی آموزش بینقص رسید، مدت طولانی روی دادهٔ آزمون در حد شانس ماند و سپس ناگهان تعمیم داد. روشنترین موردی است که نگاه به درون چیزی را توضیح داد که منحنی زیان نمیتوانست.
کار: a + b به پیمانهٔ 23 (باقیماندهٔ تقسیم بر 23؛ پس 20 + 5 برابر 2 است). 23 x 23 = 529 جمع هست؛ مدل روی نیمی تصادفی آموزش میبیند و روی نیمهٔ دیگر آزموده میشود. هر عدد یک تعبیهٔ 32تایی میگیرد؛ دو تعبیه از یک لایهٔ ReLU از 128 میگذرند و به 23 امتیاز میرسند. در هر گام روی کل نیمه، با AdamW (ماژول 5)، آموزش میبیند.
آن را 1,500 گام زنده آموزش دهید، سپس اجراهای ثبتشدهٔ 40,000 گامی دوره را بخوانید (هر کدام حدود 11 ثانیه روی یک لپتاپ، برای یک درس بیش از حد طولانی)، با کاهش وزن 3 و بدون آن.
اول پیشبینی کنید: پس از 1,500 گام، درستی آموزش 100% خواهد بود. درستی آزمون چه خواهد بود؟
واژهها و نمادهای این درس
- grokking
- بالا رفتن درستی آزمون مدتها پس از بینقص شدن درستی آموزش
my_guess را برابر "near 0"، "near 50%" یا "near 100%" قرار دهید. 1,500 گام آموزش دهید و live را با (درستی آموزش، درستی آزمون) پر کنید. از runs = interp.recorded()['grok']، 'curve' هر اجرا ردیفهایی (step، درستی آموزش، درستی آزمون، سهم 3 برتر) دارد: half_way را برابر اولین گامی که درستی آزمون با کاهش وزن 3 به 0.5 میرسد و final_test را برابر آخرین درستی آزمون هر اجرا قرار دهید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.