LoRA, gebou
Waarom dit saak maak Om dit een keer te bou maak drie dinge duidelik: waarom dit aan die begin onskadelik is, waarom sy gradients goedkoop is, en waarom die oorspronklike weights nooit verander nie.
A LoRA-laag op die huis-engine: forward is x W + (alpha / r) x A B, met W bevrore. Die engine bereken die gradiënte vir A en B self (jou Module 4-engine sou ook); W moet net nie opgedateer word nie, wat jy kontroleer.
Woorde en simbole in hierdie les
- LoRA
- low-rank aanpassing: 'n bevrore gewigmatriks plus twee dun aanpasbare \x W + (alpha / r) \x A B
Skryf lora_forward(x, W, A, B, alpha) met engine-operasies. Kontroleer dan op die klein laag in die starter: die output is gelyk aan x W terwyl B nul is; na een agterwaartse pass het W geen opdatering nie maar A of B het; en die gradiënt van A stem ooreen met nudging. Stel max_gap in op die grootste verskil. Die engine werk in float32, so skuif met h = 1e-3 of meer: met 1e-4 gaan die verandering in die loss verlore in afronding en lyk 'n korrekte gradiënt verkeerd.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.