Temario Lección 152 de 246 · Módulo 13: Atención y transformers
Módulo 13: Atención y transformers

Dónde están los parámetros

Por qué importa "Un modelo de 7,000 millones de parámetros" es solo esta aritmética con una d más grande. Saber contar te dice adónde va la memoria y por qué la anchura sale cara.

Por bloque, las matrices grandes son Wq, Wk, Wv y Wo (cuatro de d por d: 4d al cuadrado) y el feed-forward (d por 4d y 4d por d: 8d al cuadrado). Eso son 12 d al cuadrado, más unos pocos vectores de longitud d para las normalizaciones de capa.

Fuera de los bloques: los embeddings de tokens (V por d, reutilizados también como capa de salida en este modelo), los vectores de posición (ctx por d) y la normalización de capa final.

Duplicar d multiplica por 4 los parámetros del bloque, pero no el tiempo por 4. Las ejecuciones grabadas de anchura 128 tardaron de media unas 2.3 veces lo que las de anchura 64 (entre 1.1 y 4 veces según la ejecución: el tiempo de reloj en una máquina compartida es ruidoso), y la anchura 32 no fue más rápida que la 64. En modelos tan pequeños, los costes fijos por paso (Python, arrays pequeños) son una gran parte del tiempo; el 4x solo aparece cuando dominan las multiplicaciones de matrices.

Palabras y símbolos de esta lección
cabeza
una de H atenciones más estrechas ejecutadas una al lado de otra, cada una con su propio patrón
vector de posición
se suma a cada token para que la atención pueda distinguir el orden
normalización de capa
normaliza cada vector por separado: media 0, dispersión 1, y luego por g más b
12 d al cuadrado
los parámetros de las matrices de un bloque
Tu turno

Escribe count(V, d, layers, ctx) que devuelva el número exacto de parámetros de este GPT (cada bloque tiene 12 d al cuadrado + 4d: dos normalizaciones de capa con g y b). Debe coincidir con los modelos reales.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.