Normalización de capa: mantener cada vector en rango
Por qué importa El Módulo 6 mantenía sanas las activaciones con la normalización por lotes, que promedia sobre el lote. Los lotes de texto varían en longitud y la generación procesa una secuencia cada vez, así que los transformers normalizan el vector de cada posición por separado: la normalización de capa.
Para un vector x de d números: resta su media, divide por su desviación típica (más un épsilon diminuto, 1e-5, para no dividir nunca por 0), y luego escala y desplaza con g y b aprendidos:
y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b
El vector de cada token entra en cada parte de atención y cada parte feed-forward con media 0 y dispersión 1, por mucho que haya crecido la suma acumulada.
Palabras y símbolos de esta lección
- atención
- softmax de las puntuaciones consulta-clave, usado para promediar los valores
- normalización de capa
- normaliza cada vector por separado: media 0, dispersión 1, y luego por g más b
Escribe layer_norm(x, g, b) para un array de cualquier forma, normalizando a lo largo del último eje. Debe coincidir con el layernorm del motor de la casa.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.