Uma grande matriz congelada mais duas finas (Veja isso)
Por que isso importa LoRA (Hu et al. 2021) é como a maioria dos modelos é customizada hoje, porque ele treina uma fração minúscula dos pesos e deixa o original intacto. A ideia cabe em uma imagem.
Pegue uma matriz de pesos W, d_in por d_out. Congele ela. Ao lado dela, coloque duas matrizes finas treináveis: A (d_in por r) e B (r por d_out), com um pequeno rank r. A camada calcula
x W + (alpha / r) x A B
A B é uma matriz completa d_in por d_out, uma mudança em W, mas ela é construída a partir de apenas (d_in + d_out) x r números. B começa em zero, então no início o modelo é exatamente o original.
O GPT tem quatro matrizes de pesos em cada um de seus 2 blocos: qkv (64 por 192), o (64 por 64), w1 (64 por 256) e w2 (256 por 64). Assista à cena, depois conte.
Palavras e símbolos nesta lição
- LoRA
- adaptação de baixo posto: uma matriz de pesos congelada mais duas finas treináveis, x W + (alpha / r) x A B
- rank (r)
- quão finas são as duas matrizes do LoRA: (d_in + d_out) x r pesos treináveis por matriz
Escreva lora_weights(shapes, r): o número de pesos treináveis que o LoRA adiciona para uma lista de formas (d_in, d_out) no rank r. Preencha shapes com as 8 matrizes alvo do GPT, depois defina counts para os ranks 1, 4, 16 e 64, e overtakes: o menor desses ranks nos quais o LoRA treina mais pesos do que o modelo inteiro (107,072).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.