Een grote bevroren matrix plus twee dunne (Zie het)
Waarom dit ertoe doet LoRA (Hu et al. 2021) is hoe de meeste modellen vandaag de dag worden aangepast, omdat het een klein fractie van de weights traint en de originele ongemoeid laat. Het idee past in één plaatje.
Neem een gewichtsmatrix W, d_in bij d_out. Bevries deze. Zet ernaast twee dunne trainbare matrices: A (d_in bij r) en B (r bij d_out), met een kleine rank r. De laag berekent
x W + (alpha / r) x A B
A B is een volledige d_in bij d_out matrix, een verandering aan W, maar het is gebouwd uit slechts (d_in + d_out) x r getallen. B begint bij nul, dus in het begin is het model precies het origineel.
De GPT heeft vier gewichtsmatrices in elk van zijn 2 blokken: qkv (64 bij 192), o (64 bij 64), w1 (64 bij 256) en w2 (256 bij 64). Kijk naar de scène, tel dan.
Woorden en symbolen in deze les
- LoRA
- low-rank adaptation: een bevroren gewichtsmatrix plus twee dunne trainbare matrices, x W + (alpha / r) x A B
- rank (r)
- hoe dun de twee matrices van LoRA zijn: (d_in + d_out) x r trainbare weights per matrix
Schrijf lora_weights(shapes, r): het aantal trainbare weights dat LoRA toevoegt voor een lijst van (d_in, d_out) shapes bij rank r. Vul shapes met de 8 doelmatrices van de GPT, stel dan counts in voor ranks 1, 4, 16 en 64, en overtakes: de kleinste van die ranks waarbij LoRA meer weights traint dan het hele model (107,072).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.