Quão fino é o suficiente? (rank)
Por que isso importa Rank é o único ajuste real do LoRA. Se for muito baixo, ele não consegue aprender a nova tarefa; após certo ponto, mais rank não traz quase nada. Onde esse ponto fica vale a pena prever antes de pagar por ele.
O curso treinou LoRA em código nos ranks 1 a 64, e fine-tuning completo, 3 seeds cada, 200 steps (adapt.recorded()). Cada linha tem o rank, os weights treináveis, o code loss (novo) e o English loss (antigo).
Chame a Curva
Antes de lê-los, chute a perda de código nos ranks 1, 4, 16 e 64. Âncoras: antes do treinamento 3.25; fine-tuning completo cerca de 2.19.
Palavras e símbolos nesta lição
- fine-tuning
- continuar treinando um modelo treinado em novos dados
- LoRA
- adaptação de baixo posto: uma matriz de pesos congelada mais duas finas treináveis, x W + (alpha / r) x A B
- rank (r)
- quão finas são as duas matrizes do LoRA: (d_in + d_out) x r pesos treináveis por matriz
Preencha my_guess (quatro perdas de código), depois by_rank: para os ranks 1, 4, 16, 64 e "full", a média de code loss e a média de English loss sobre as 3 seeds. Defina diminishing como True se passar do rank 16 para 64 ganhar menos de um quarto do que passar de 1 para 4 ganha.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.