AdamW: la regularización de pesos bien hecha
Por qué importa La mayoría de los modelos grandes se entrenan con AdamW, no con Adam. La diferencia es una línea, y cambia lo que hace de verdad la "regularización de pesos".
La regularización de pesos tira de cada peso un poco hacia cero en cada paso, lo que desanima los pesos grandes y suele ayudar a que el modelo funcione con datos nuevos.
- Adam con L2 suma
wd * pal gradiente antes del escalado de Adam. Luego Adam lo divide por el mando de volumen, así que los pesos con gradientes fuertes apenas se regularizan. - AdamW deja el gradiente en paz y reduce el peso directamente:
p_new = p - lr * (adam_direction + wd * p), dondepes el peso antes de este paso. Cada peso se reduce en la misma proporción.
Regularización de pesos desacoplada: encoger los pesos directamente en vez de a través del gradiente. Esa es la "W" de AdamW.
Palabras y símbolos de esta lección
- Adam (m, v, t)
- momentum (m) más un mando de volumen por peso (v), corregido en los primeros pasos (t)
- AdamW, regularización de pesos
- encoger los pesos directamente un poco en cada paso
Escribe adam_l2_step(p, g, state, lr, wd) y adamw_step(p, g, state, lr, wd). state es un diccionario que guarda m, v y t (empieza con un diccionario vacío). Usa b1 = 0.9, b2 = 0.999, eps = 1e-8. Cada uno devuelve la p nueva. Para AdamW la actualización es p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p), con p el peso de antes del paso.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.