Una grande matrice congelata più due sottili (Guardalo)
Perché è importante LoRA (Hu et al. 2021) è il modo in cui oggi si personalizza la maggior parte dei modelli, perché addestra una frazione minuscola dei pesi e lascia intatto l'originale. L'idea sta in un'immagine.
Prendi una matrice di pesi W, d_in per d_out. Congelala. Accanto, metti due matrici sottili addestrabili: A (d_in per r) e B (r per d_out), con un piccolo rango r. Il layer calcola
x W + (alpha / r) x A B
A B è una matrice piena d_in per d_out, un cambiamento di W, ma è costruita da soli (d_in + d_out) × r numeri. B parte da zero, quindi all'inizio il modello è esattamente l'originale.
Il GPT ha quattro matrici di pesi in ognuno dei suoi 2 blocchi: qkv (64 per 192), o (64 per 64), w1 (64 per 256) e w2 (256 per 64). Guarda la scena, poi conta.
Parole e simboli di questa lezione
- LoRA
- low-rank adaptation: una matrice di pesi congelata più due sottili addestrabili, x W + (alpha / r) × A B
- rango (r)
- quanto sono sottili le due matrici di LoRA: (d_in + d_out) × r pesi addestrabili per matrice
Scrivi lora_weights(shapes, r): il numero di pesi addestrabili che LoRA aggiunge per una lista di forme (d_in, d_out) al rango r. Riempi shapes con le 8 matrici obiettivo del GPT, poi imposta counts per i ranghi 1, 4, 16 e 64, e overtakes: il più piccolo di quei ranghi a cui LoRA addestra più pesi dell'intero modello (107,072).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.