Ajuste o GPT no seu próprio texto
Por que isso importa Esse é o uso diário: um modelo geral, seu texto, um adaptador barato. O teste é se ele aprendeu seu texto e manteve o resto.
Coloque seu próprio texto em my_text: notas, uma redação, código que você escreveu, pelo menos 5.000 caracteres (o padrão é um trecho das soluções em Python para que a lição rode como fornecida). Caracteres que o modelo nunca viu são descartados. Os últimos 20% são reservados para teste.
Treine o LoRA, rank 8, por 60 steps de 8 janelas. Passe quando a parte retida do seu texto pontuar pelo menos 0.3 melhor do que o modelo base fez, e a loss em inglês subiu menos de 0.5. Para escala, no texto padrão: LoRA aumenta o inglês em cerca de 0.29, o fine-tuning completo em cerca de 0.69, e ambos aprendem o texto quase igualmente bem.
Palavras e símbolos nesta lição
- fine-tuning
- continuar treinando um modelo treinado em novos dados
- LoRA
- adaptação de baixo posto: uma matriz de pesos congelada mais duas finas treináveis, x W + (alpha / r) x A B
- rank (r)
- quão finas são as duas matrizes do LoRA: (d_in + d_out) x r pesos treináveis por matriz
Preencha base_scores e tuned_scores: (perda em inglês, perda nos 20% de texto reservados) antes e depois de treinar o modelo LoRA.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.