Programma Lezione 217 di 246 · Modulo 20: Adattare a poco prezzo un modello addestrato
Modulo 20: Adattare a poco prezzo un modello addestrato

Cancello: un compito nuovo con un budget (IA spenta)

Perché è importante Il vero lavoro di adattamento ha un obiettivo, un budget e qualcosa che non devi rompere. Tutti e tre, insieme, da solo.

Regole del cancello: tutor IA spento. Adatta il GPT registrato al codice Python con al massimo 60 passi di addestramento da 8 finestre ciascuno. Obiettivi su un'esecuzione nuova (seed nuovo):

  • loss sul codice tenuto da parte al massimo 2.43 (il base ottiene 3.25);
  • loss sull'inglese tenuto da parte al massimo 2.00 (il base ottiene 1.70);

Imposta plan: metodo "full" o "lora", il rango (per LoRA, da 1 a 64), i passi e il learning rate. Il controllo addestra il tuo piano una volta su un seed nuovo.

Parole e simboli di questa lezione
LoRA
low-rank adaptation: una matrice di pesi congelata più due sottili addestrabili, x W + (alpha / r) × A B
rango (r)
quanto sono sottili le due matrici di LoRA: (d_in + d_out) × r pesi addestrabili per matrice
Tocca a te

Riempi plan.

IA spenta: niente tutor, suggerimenti o soluzione svolta per questo. Solo il tuo ragionamento.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.