Temario Lección 151 de 246 · Módulo 13: Atención y transformers
Módulo 13: Atención y transformers

Un bloque de transformer, a mano

Por qué importa Un GPT es el mismo bloque apilado. Escribe uno con NumPy simple, ejecútalo con los pesos reales del modelo grabado, y si tus números coinciden con los del propio modelo, entiendes cada línea de un transformer.

Míralo

Reproduce la animación. Un bloque recibe h (t posiciones por d) y hace dos cosas, y cada una se suma de vuelta a h (el camino residual del Módulo 6):

h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h)        # relu(x @ W1) @ W2, W1 widens d to 4d

Los nombres del modelo grabado: qkv{l} tiene Wq, Wk y Wv uno al lado de otro (d por 3d), o{l} es Wo, g1{l}, b1{l} y g2{l}, b2{l} son las dos normalizaciones de capa, w1{l}, w2{l} el feed-forward. La cabeza h usa las columnas de h por 16 a (h + 1) por 16 de cada una de Q, K y V.

Palabras y símbolos de esta lección
atención
softmax de las puntuaciones consulta-clave, usado para promediar los valores
cabeza
una de H atenciones más estrechas ejecutadas una al lado de otra, cada una con su propio patrón
normalización de capa
normaliza cada vector por separado: media 0, dispersión 1, y luego por g más b
bloque de transformer
h + atención(norm(h)), y luego h + feed-forward(norm(h))
Tu turno

Escribe block(h, l) para una secuencia (h es de t por d). El modelo completo ya está montado; sus logits deben coincidir con model.logits.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.