LayerNorm y RMSNorm
Por qué importa Los transformers no usan BatchNorm. Normalizan cada ejemplo por su cuenta, lo que evita la trampa del lote que acabas de ver y funciona con cualquier tamaño de lote.
- LayerNorm normaliza a lo largo de las características de cada ejemplo (cada fila): resta la media de la fila, divide entre la dispersión de la fila, y luego gamma y beta por característica. Igual en el entrenamiento y en el uso.
- RMSNorm es más sencilla y la usan muchos modelos de lenguaje recientes: sáltate la media, y divide cada fila entre su raíz cuadrática media,
sqrt(mean(x squared) + eps), y luego multiplica por gamma.
Números diminutos
La fila [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm da [0.849, 1.131]. LayerNorm resta primero la media 3.5: [-1, 1].
Palabras y símbolos de esta lección
- Xavier, LeCun, He
- dispersiones iniciales sqrt(2 / (entradas + salidas)) o 1 / sqrt(entradas) para tanh, y sqrt(2 / entradas) para ReLU
- BatchNorm (gamma, beta)
- normaliza cada característica sobre el lote, y luego reescala con gamma y beta aprendidos
- LayerNorm, RMSNorm
- normalizan cada ejemplo por su cuenta, a lo largo de sus características
Escribe layernorm(X, gamma, beta, eps=1e-5) y rmsnorm(X, gamma, eps=1e-6), las dos por fila.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.