Temario Lección 150 de 246 · Módulo 13: Atención y transformers
Módulo 13: Atención y transformers

Normalización de capa: mantener cada vector en rango

Por qué importa El Módulo 6 mantenía sanas las activaciones con la normalización por lotes, que promedia sobre el lote. Los lotes de texto varían en longitud y la generación procesa una secuencia cada vez, así que los transformers normalizan el vector de cada posición por separado: la normalización de capa.

Para un vector x de d números: resta su media, divide por su desviación típica (más un épsilon diminuto, 1e-5, para no dividir nunca por 0), y luego escala y desplaza con g y b aprendidos:

y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b

El vector de cada token entra en cada parte de atención y cada parte feed-forward con media 0 y dispersión 1, por mucho que haya crecido la suma acumulada.

Palabras y símbolos de esta lección
atención
softmax de las puntuaciones consulta-clave, usado para promediar los valores
normalización de capa
normaliza cada vector por separado: media 0, dispersión 1, y luego por g más b
Tu turno

Escribe layer_norm(x, g, b) para un array de cualquier forma, normalizando a lo largo del último eje. Debe coincidir con el layernorm del motor de la casa.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.