Dónde están los parámetros
Por qué importa "Un modelo de 7,000 millones de parámetros" es solo esta aritmética con una d más grande. Saber contar te dice adónde va la memoria y por qué la anchura sale cara.
Por bloque, las matrices grandes son Wq, Wk, Wv y Wo (cuatro de d por d: 4d al cuadrado) y el feed-forward (d por 4d y 4d por d: 8d al cuadrado). Eso son 12 d al cuadrado, más unos pocos vectores de longitud d para las normalizaciones de capa.
Fuera de los bloques: los embeddings de tokens (V por d, reutilizados también como capa de salida en este modelo), los vectores de posición (ctx por d) y la normalización de capa final.
Duplicar d multiplica por 4 los parámetros del bloque, pero no el tiempo por 4. Las ejecuciones grabadas de anchura 128 tardaron de media unas 2.3 veces lo que las de anchura 64 (entre 1.1 y 4 veces según la ejecución: el tiempo de reloj en una máquina compartida es ruidoso), y la anchura 32 no fue más rápida que la 64. En modelos tan pequeños, los costes fijos por paso (Python, arrays pequeños) son una gran parte del tiempo; el 4x solo aparece cuando dominan las multiplicaciones de matrices.
Palabras y símbolos de esta lección
- cabeza
- una de H atenciones más estrechas ejecutadas una al lado de otra, cada una con su propio patrón
- vector de posición
- se suma a cada token para que la atención pueda distinguir el orden
- normalización de capa
- normaliza cada vector por separado: media 0, dispersión 1, y luego por g más b
- 12 d al cuadrado
- los parámetros de las matrices de un bloque
Escribe count(V, d, layers, ctx) que devuelva el número exacto de parámetros de este GPT (cada bloque tiene 12 d al cuadrado + 4d: dos normalizaciones de capa con g y b). Debe coincidir con los modelos reales.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.