Temario Lección 147 de 246 · Módulo 13: Atención y transformers
Módulo 13: Atención y transformers

Muchas cabezas, el mismo coste

Por qué importa Un solo patrón de atención por capa es limitado: una posición podría querer mirar el carácter anterior y, a la vez, el principio de la palabra. La atención multicabeza ejecuta varias atenciones más pequeñas una al lado de otra.

Míralo

Reproduce la animación. Divide las d columnas de Q, K y V en H grupos de d / H. Cada grupo (una cabeza) hace su propia atención con su propio patrón. Vuelve a pegar las H salidas una al lado de otra en d columnas, y luego mézclalas con una matriz más, Wo.

El coste: las mismas matrices que una cabeza grande, solo que cortadas en trozos, así que el número de parámetros no cambia. Cada cabeza es más estrecha, así que divide por la raíz cuadrada de d / H.

Palabras y símbolos de esta lección
atención
softmax de las puntuaciones consulta-clave, usado para promediar los valores
cabeza
una de H atenciones más estrechas ejecutadas una al lado de otra, cada una con su propio patrón
Tu turno

Escribe multi_head(X, Wq, Wk, Wv, Wo, H) (sin máscara), que devuelva la salida y una lista de H matrices de atención.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.