'n Groot bevrore matrix plus twee dun eenes (Sien dit)
Waarom dit saak maak LoRA (Hu et al. 2021) is hoe die meeste modelle vandag aangepas word, omdat dit net 'n klein gedeelte van die weights aanpas en die oorspronklike een ongemoei laat. Die idee pas in een prentjie.
Neem 'n gewigmatriks W, d_in by d_out. Vries dit. Sit twee dun trainbare matrikse langs dit: A (d_in by r) en B (r by d_out), met 'n klein rank r. Die laag bereken
x W + (alpha / r) x A B
A B is 'n volledige d_in by d_out matriks, 'n verandering aan W, maar dit word net uit (d_in + d_out) x r getalle gebou. B begin by nul, so aan die begin is die model presies die oorspronklike een.
Die GPT het vier gewigmatrikse in elk van sy 2 blokke: qkv (64 by 192), o (64 by 64), w1 (64 by 256) en w2 (256 by 64). Kyk na die toneel, tel dan.
Woorde en simbole in hierdie les
- LoRA
- low-rank aanpassing: 'n bevrore gewigmatriks plus twee dun aanpasbare wyse, x W + (alpha / r) x A B
- rang (r)
- hoe dun LoRA se twee matrices is: (d_in + d_out) x r trainbare gewigte per matrix
Skryf lora_weights(shapes, r): die aantal aanpasbare gewigte wat LoRA byvoeg vir 'n lys van (d_in, d_out) vorms by rang r. Vul shapes met die GPT se 8 teikenmatrikse, stel dan counts vir rangs 1, 4, 16 en 64, en overtakes: die kleinste van daardie rangs waarby LoRA meer gewigte as die hele model (107,072) aanpas.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.