Un bloque de transformer, a mano
Por qué importa Un GPT es el mismo bloque apilado. Escribe uno con NumPy simple, ejecútalo con los pesos reales del modelo grabado, y si tus números coinciden con los del propio modelo, entiendes cada línea de un transformer.
Míralo
Reproduce la animación. Un bloque recibe h (t posiciones por d) y hace dos cosas, y cada una se suma de vuelta a h (el camino residual del Módulo 6):
h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h) # relu(x @ W1) @ W2, W1 widens d to 4d
Los nombres del modelo grabado: qkv{l} tiene Wq, Wk y Wv uno al lado de otro (d por 3d), o{l} es Wo, g1{l}, b1{l} y g2{l}, b2{l} son las dos normalizaciones de capa, w1{l}, w2{l} el feed-forward. La cabeza h usa las columnas de h por 16 a (h + 1) por 16 de cada una de Q, K y V.
Palabras y símbolos de esta lección
- atención
- softmax de las puntuaciones consulta-clave, usado para promediar los valores
- cabeza
- una de H atenciones más estrechas ejecutadas una al lado de otra, cada una con su propio patrón
- normalización de capa
- normaliza cada vector por separado: media 0, dispersión 1, y luego por g más b
- bloque de transformer
- h + atención(norm(h)), y luego h + feed-forward(norm(h))
Escribe block(h, l) para una secuencia (h es de t por d). El modelo completo ya está montado; sus logits deben coincidir con model.logits.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.