Temario Lección 83 de 246 · Módulo 6: Pesos iniciales y normalización
Módulo 6: Pesos iniciales y normalización

LayerNorm y RMSNorm

Por qué importa Los transformers no usan BatchNorm. Normalizan cada ejemplo por su cuenta, lo que evita la trampa del lote que acabas de ver y funciona con cualquier tamaño de lote.

  • LayerNorm normaliza a lo largo de las características de cada ejemplo (cada fila): resta la media de la fila, divide entre la dispersión de la fila, y luego gamma y beta por característica. Igual en el entrenamiento y en el uso.
  • RMSNorm es más sencilla y la usan muchos modelos de lenguaje recientes: sáltate la media, y divide cada fila entre su raíz cuadrática media, sqrt(mean(x squared) + eps), y luego multiplica por gamma.

Números diminutos

La fila [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm da [0.849, 1.131]. LayerNorm resta primero la media 3.5: [-1, 1].

Palabras y símbolos de esta lección
Xavier, LeCun, He
dispersiones iniciales sqrt(2 / (entradas + salidas)) o 1 / sqrt(entradas) para tanh, y sqrt(2 / entradas) para ReLU
BatchNorm (gamma, beta)
normaliza cada característica sobre el lote, y luego reescala con gamma y beta aprendidos
LayerNorm, RMSNorm
normalizan cada ejemplo por su cuenta, a lo largo de sus características
Tu turno

Escribe layernorm(X, gamma, beta, eps=1e-5) y rmsnorm(X, gamma, eps=1e-6), las dos por fila.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.