Temario Lección 71 de 246 · Módulo 5: Optimización
Módulo 5: Optimización

AdamW: la regularización de pesos bien hecha

Por qué importa La mayoría de los modelos grandes se entrenan con AdamW, no con Adam. La diferencia es una línea, y cambia lo que hace de verdad la "regularización de pesos".

La regularización de pesos tira de cada peso un poco hacia cero en cada paso, lo que desanima los pesos grandes y suele ayudar a que el modelo funcione con datos nuevos.

  • Adam con L2 suma wd * p al gradiente antes del escalado de Adam. Luego Adam lo divide por el mando de volumen, así que los pesos con gradientes fuertes apenas se regularizan.
  • AdamW deja el gradiente en paz y reduce el peso directamente: p_new = p - lr * (adam_direction + wd * p), donde p es el peso antes de este paso. Cada peso se reduce en la misma proporción.

Regularización de pesos desacoplada: encoger los pesos directamente en vez de a través del gradiente. Esa es la "W" de AdamW.

Palabras y símbolos de esta lección
Adam (m, v, t)
momentum (m) más un mando de volumen por peso (v), corregido en los primeros pasos (t)
AdamW, regularización de pesos
encoger los pesos directamente un poco en cada paso
Tu turno

Escribe adam_l2_step(p, g, state, lr, wd) y adamw_step(p, g, state, lr, wd). state es un diccionario que guarda m, v y t (empieza con un diccionario vacío). Usa b1 = 0.9, b2 = 0.999, eps = 1e-8. Cada uno devuelve la p nueva. Para AdamW la actualización es p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p), con p el peso de antes del paso.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.