AdamW: تضاؤل الوزن تم بشكل صحيح
لماذا هذا مهم معظم النماذج الكبيرة يتم تدريبها باستخدام AdamW وليس Adam. الفرق هو سطر واحد، وهو يغير ما يفعله "weight decay" فعليا.
يقوم Weight decay بسحب كل weight قليلا نحو الصفر في كل خطوة، مما يقلل من الأوزان الكبيرة ويساعد النموذج عادة على العمل مع بيانات جديدة.
- Adam مع L2 يضيف
wd * pإلى التدرج قبل قياس Adam. ثم يقوم Adam بقسمته على مقبض الصوت، لذا فإن الأوزان ذات التدرجات العالية تكاد لا تتلاشى على الإطلاق. - AdamW يترك التدرج كما هو ويقوم بتخفيض الوزن مباشرة:
p_new = p - lr * (adam_direction + wd * p)، حيثpهو الوزن قبل هذه الخطوة. كل وزن يتناقص بنفس النسبة.
تضاؤل الوزن المنفصل: تصغير الأوزان مباشرة بدلا من ذلك عبر التدرج. هذا هو "W" في AdamW.
الكلمات والرموز في هذا الدرس
- Adam (m, v, t)
- momentum (m) بالإضافة إلى مقبض حجم لكل وزن (v)، مصحح للخطوات المبكرة (t)
- AdamW، تلاش الوزن
- يقلل الأوزان مباشرة قليلا في كل خطوة
اكتب adam_l2_step(p, g, state, lr, wd) و adamw_step(p, g, state, lr, wd). state هو قاموس يحتوي على m و v و t (ابدأ بقاموس فارغ). استخدم b1 = 0.9 و b2 = 0.999 و eps = 1e-8. كل واحدة تعيد p الجديدة. بالنسبة لـ AdamW التحديث هو p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p) مع p وهو الوزن قبل الخطوة.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.