سرفصل‌ها درس 226 از 246 · ماژول 21: نگاه به درون یک مدل
ماژول 21: نگاه به درون یک مدل

grokking: اول حفظ کن، بعداً بفهم

چرا مهم است Power و همکاران (2022) دیدند یک شبکه به درستی آموزش بی‌نقص رسید، مدت طولانی روی دادهٔ آزمون در حد شانس ماند و سپس ناگهان تعمیم داد. روشن‌ترین موردی است که نگاه به درون چیزی را توضیح داد که منحنی زیان نمی‌توانست.

کار: a + b به پیمانهٔ 23 (باقی‌ماندهٔ تقسیم بر 23؛ پس 20 + 5 برابر 2 است). 23 x 23 = 529 جمع هست؛ مدل روی نیمی تصادفی آموزش می‌بیند و روی نیمهٔ دیگر آزموده می‌شود. هر عدد یک تعبیهٔ 32تایی می‌گیرد؛ دو تعبیه از یک لایهٔ ReLU از 128 می‌گذرند و به 23 امتیاز می‌رسند. در هر گام روی کل نیمه، با AdamW (ماژول 5)، آموزش می‌بیند.

آن را 1,500 گام زنده آموزش دهید، سپس اجراهای ثبت‌شدهٔ 40,000 گامی دوره را بخوانید (هر کدام حدود 11 ثانیه روی یک لپ‌تاپ، برای یک درس بیش از حد طولانی)، با کاهش وزن 3 و بدون آن.

اول پیش‌بینی کنید: پس از 1,500 گام، درستی آموزش 100% خواهد بود. درستی آزمون چه خواهد بود؟

واژه‌ها و نمادهای این درس
grokking
بالا رفتن درستی آزمون مدت‌ها پس از بی‌نقص شدن درستی آموزش
نوبت شما

my_guess را برابر "near 0"، "near 50%" یا "near 100%" قرار دهید. 1,500 گام آموزش دهید و live را با (درستی آموزش، درستی آزمون) پر کنید. از runs = interp.recorded()['grok']، 'curve' هر اجرا ردیف‌هایی (step، درستی آموزش، درستی آزمون، سهم 3 برتر) دارد: half_way را برابر اولین گامی که درستی آزمون با کاهش وزن 3 به 0.5 می‌رسد و final_test را برابر آخرین درستی آزمون هر اجرا قرار دهید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.