Programma Lezione 210 di 246 · Modulo 20: Adattare a poco prezzo un modello addestrato
Modulo 20: Adattare a poco prezzo un modello addestrato

LoRA, costruito

Perché è importante Costruirlo una volta rende ovvie tre cose: perché all'inizio è innocuo, perché i suoi gradienti costano poco, e perché i pesi originali non cambiano mai.

Un layer LoRA sul motore di casa: il passaggio in avanti è x W + (alpha / r) x A B, con W congelata. Il motore calcola da solo i gradienti per A e B (lo farebbe anche il tuo motore del Modulo 4); W semplicemente non deve essere aggiornata, e lo controlli.

Parole e simboli di questa lezione
LoRA
low-rank adaptation: una matrice di pesi congelata più due sottili addestrabili, x W + (alpha / r) × A B
Tocca a te

Scrivi lora_forward(x, W, A, B, alpha) con operazioni del motore. Poi controlla, sul piccolo layer del codice di partenza: l'output è uguale a x W finché B è zero; dopo un backward, W non ha aggiornamenti ma A o B sì; e il gradiente di A coincide con la spinta dei valori. Imposta max_gap sulla differenza più grande. Il motore lavora in float32, quindi spingi di h = 1e-3 o più: con 1e-4 la variazione della loss si perde negli arrotondamenti e un gradiente corretto sembra sbagliato.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.