Hoe dun is genoeg? (rank)
Waarom dit ertoe doet Rank is de enige echte instelling van LoRA. Te dun en het kan de nieuwe taak niet leren; na een bepaald punt levert een hogere rank bijna niets op. Waar dat punt ligt is het de moeite waard om te voorspellen voordat je ervoor betaalt.
De cursus trainde LoRA op code bij ranks 1 tot 64, en full fine-tuning, elk met 3 seeds, 200 steps (adapt.recorded()). Elke rij heeft de rank, de trainable weights, de code loss (nieuw) en de English loss (oud).
Roep de Curve op
Voordat je ze leest, raad je de code loss in voor rangen 1, 4, 16 en 64. Ankers: voor training 3.25; volledige fine-tuning ongeveer 2.19.
Woorden en symbolen in deze les
- fine-tuning
- het blijven trainen van een getraind model op nieuwe data
- LoRA
- low-rank adaptation: een bevroren gewichtsmatrix plus twee dunne trainbare matrices, x W + (alpha / r) x A B
- rank (r)
- hoe dun de twee matrices van LoRA zijn: (d_in + d_out) x r trainbare weights per matrix
Vul my_guess (vier codeverliezen) in, dan by_rank: voor rangen 1, 4, 16, 64 en "full", de gemiddelde codeverlies en het gemiddelde Engelse verlies over de 3 seeds. Zet diminishing op True als de overgang van rang 16 naar 64 minder dan een kwart oplevert van wat de overgang van 1 naar 4 oplevert.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.