Una gran matriz congelada más dos finas (Míralo)
Por qué importa LoRA (Hu et al. 2021) es como se personalizan hoy la mayoría de los modelos, porque entrena una fracción diminuta de los pesos y deja el original intacto. La idea cabe en una imagen.
Toma una matriz de pesos W, de d_in por d_out. Congélala. A su lado, pon dos matrices finas entrenables: A (d_in por r) y B (r por d_out), con un rango r pequeño. La capa calcula
x W + (alpha / r) x A B
A B es una matriz completa de d_in por d_out, un cambio a W, pero se construye con solo (d_in + d_out) x r números. B empieza en cero, así que al principio el modelo es exactamente el original.
El GPT tiene cuatro matrices de pesos en cada uno de sus 2 bloques: qkv (64 por 192), o (64 por 64), w1 (64 por 256) y w2 (256 por 64). Mira la escena, y luego cuenta.
Palabras y símbolos de esta lección
- LoRA
- adaptación de rango bajo: una matriz de pesos congelada más dos finas entrenables, x W + (alpha / r) x A B
- rango (r)
- lo finas que son las dos matrices de LoRA: (d_in + d_out) x r pesos entrenables por matriz
Escribe lora_weights(shapes, r): el número de pesos entrenables que añade LoRA para una lista de formas (d_in, d_out) con rango r. Rellena shapes con las 8 matrices objetivo del GPT, luego pon counts para los rangos 1, 4, 16 y 64, y overtakes: el menor de esos rangos con el que LoRA entrena más pesos que todo el modelo (107,072).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.