LoRA, gebouwd
Waarom dit ertoe doet Het één keer bouwen maakt drie dingen duidelijk: waarom het onschadelijk begint, waarom de gradients goedkoop zijn, en waarom de originele weights nooit veranderen.
A LoRA layer op de house engine: forward is x W + (alpha / r) x A B, met W bevroren. De engine berekent de gradiënten voor A en B zelf (jouw Module 4 engine zou dat ook doen); W mag alleen niet worden bijgewerkt, wat je controleert.
Woorden en symbolen in deze les
- LoRA
- low-rank adaptation: een bevroren weight matrix plus twee dunne trainbare matrices, x W + (alpha / r) x A B
Schrijf lora_forward(x, W, A, B, alpha) met engine operaties. Controleer daarna op de kleine laag in de starter: de output is gelijk aan x W terwijl B nul is; na één backward pass heeft W geen update maar A of B wel; en de gradiënt van A komt overeen met nudging. Zet max_gap op het grootste verschil. De engine werkt in float32, dus nudge met h = 1e-3 of meer: met 1e-4 gaat de verandering in de loss verloren door afronding en ziet een correcte gradiënt er fout uit.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.