LoRA, construído
Por que isso importa Construir isso uma vez torna três coisas óbvias: por que começa inofensivo, por que seus gradientes são baratos e por que os pesos originais nunca mudam.
A camada LoRA no motor da casa: forward é x W + (alpha / r) x A B, com W congelado. O motor calcula os gradientes para A e B sozinho (seu motor do Módulo 4 também faria); W apenas não deve ser atualizado, o que você verifica.
Palavras e símbolos nesta lição
- LoRA
- adaptação de baixo posto: uma matriz de pesos congelada mais duas finas treináveis, x W + (alpha / r) x A B
Escreva lora_forward(x, W, A, B, alpha) com operações de engine. Depois verifique, na pequena camada no starter: a saída é igual a x W enquanto B é zero; após um backward pass, W não tem atualização mas A ou B tem; e o gradiente de A coincide com o nudging. Defina max_gap para a maior diferença. A engine funciona em float32, então faça o nudge por h = 1e-3 ou mais: com 1e-4 a mudança na loss é perdida no arredondamento e um gradiente correto parece errado.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.