Conteúdo do curso Lição 217 de 246 · Módulo 20: Adaptando um modelo treinado de forma barata
Módulo 20: Adaptando um modelo treinado de forma barata

Gate: uma nova tarefa com um orçamento (IA desligada)

Por que isso importa Trabalho de adaptação real tem um alvo, um Orçamento e algo que você não deve quebrar. Todos três, ao mesmo tempo, sozinhos.

Regras

Gate: IA desligada. Adapte o GPT gravado para código Python com no máximo 60 passos de treinamento de 8 janelas cada. Alvos em uma execução nova (nova semente):

  • perda de código held-out no máximo 2.43 (a base marca 3.25);
  • held-out English loss no máximo 2.00 (a base marca 1.70);

Defina plan: método "full" ou "lora", o rank (para LoRA, 1 a 64), os steps e a learning rate. O check treina seu plano uma vez em uma nova seed.

Palavras e símbolos nesta lição
LoRA
adaptação de baixo posto: uma matriz de pesos congelada mais duas finas treináveis, x W + (alpha / r) x A B
rank (r)
quão finas são as duas matrizes do LoRA: (d_in + d_out) x r pesos treináveis por matriz
Sua vez

Preencha plan.

IA desligada: sem tutor, dicas ou solução resolvida nesta. Apenas seu próprio pensamento.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.