Gate: uma nova tarefa com um orçamento (IA desligada)
Por que isso importa Trabalho de adaptação real tem um alvo, um Orçamento e algo que você não deve quebrar. Todos três, ao mesmo tempo, sozinhos.
Gate: IA desligada. Adapte o GPT gravado para código Python com no máximo 60 passos de treinamento de 8 janelas cada. Alvos em uma execução nova (nova semente):
- perda de código held-out no máximo 2.43 (a base marca 3.25);
- held-out English loss no máximo 2.00 (a base marca 1.70);
Defina plan: método "full" ou "lora", o rank (para LoRA, 1 a 64), os steps e a learning rate. O check treina seu plano uma vez em uma nova seed.
Palavras e símbolos nesta lição
- LoRA
- adaptação de baixo posto: uma matriz de pesos congelada mais duas finas treináveis, x W + (alpha / r) x A B
- rank (r)
- quão finas são as duas matrizes do LoRA: (d_in + d_out) x r pesos treináveis por matriz
Preencha plan.
IA desligada: sem tutor, dicas ou solução resolvida nesta. Apenas seu próprio pensamento.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.