LoRA, costruito
Perché è importante Costruirlo una volta rende ovvie tre cose: perché all'inizio è innocuo, perché i suoi gradienti costano poco, e perché i pesi originali non cambiano mai.
Un layer LoRA sul motore di casa: il passaggio in avanti è x W + (alpha / r) x A B, con W congelata. Il motore calcola da solo i gradienti per A e B (lo farebbe anche il tuo motore del Modulo 4); W semplicemente non deve essere aggiornata, e lo controlli.
Parole e simboli di questa lezione
- LoRA
- low-rank adaptation: una matrice di pesi congelata più due sottili addestrabili, x W + (alpha / r) × A B
Scrivi lora_forward(x, W, A, B, alpha) con operazioni del motore. Poi controlla, sul piccolo layer del codice di partenza: l'output è uguale a x W finché B è zero; dopo un backward, W non ha aggiornamenti ma A o B sì; e il gradiente di A coincide con la spinta dei valori. Imposta max_gap sulla differenza più grande. Il motore lavora in float32, quindi spingi di h = 1e-3 o più: con 1e-4 la variazione della loss si perde negli arrotondamenti e un gradiente corretto sembra sbagliato.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.