Conteúdo do curso Lição 209 de 246 · Módulo 20: Adaptando um modelo treinado de forma barata
Módulo 20: Adaptando um modelo treinado de forma barata

Uma grande matriz congelada mais duas finas (Veja isso)

Por que isso importa LoRA (Hu et al. 2021) é como a maioria dos modelos é customizada hoje, porque ele treina uma fração minúscula dos pesos e deixa o original intacto. A ideia cabe em uma imagem.

Pegue uma matriz de pesos W, d_in por d_out. Congele ela. Ao lado dela, coloque duas matrizes finas treináveis: A (d_in por r) e B (r por d_out), com um pequeno rank r. A camada calcula

x W + (alpha / r) x A B

A B é uma matriz completa d_in por d_out, uma mudança em W, mas ela é construída a partir de apenas (d_in + d_out) x r números. B começa em zero, então no início o modelo é exatamente o original.

O GPT tem quatro matrizes de pesos em cada um de seus 2 blocos: qkv (64 por 192), o (64 por 64), w1 (64 por 256) e w2 (256 por 64). Assista à cena, depois conte.

Palavras e símbolos nesta lição
LoRA
adaptação de baixo posto: uma matriz de pesos congelada mais duas finas treináveis, x W + (alpha / r) x A B
rank (r)
quão finas são as duas matrizes do LoRA: (d_in + d_out) x r pesos treináveis por matriz
Sua vez

Escreva lora_weights(shapes, r): o número de pesos treináveis que o LoRA adiciona para uma lista de formas (d_in, d_out) no rank r. Preencha shapes com as 8 matrizes alvo do GPT, depois defina counts para os ranks 1, 4, 16 e 64, e overtakes: o menor desses ranks nos quais o LoRA treina mais pesos do que o modelo inteiro (107,072).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.