Kurrikulum Leson 209 van 246 · Module 20: Aanpas van 'n getoë model goedkoop
Module 20: Aanpas van 'n getoë model goedkoop

'n Groot bevrore matrix plus twee dun eenes (Sien dit)

Waarom dit saak maak LoRA (Hu et al. 2021) is hoe die meeste modelle vandag aangepas word, omdat dit net 'n klein gedeelte van die weights aanpas en die oorspronklike een ongemoei laat. Die idee pas in een prentjie.

Neem 'n gewigmatriks W, d_in by d_out. Vries dit. Sit twee dun trainbare matrikse langs dit: A (d_in by r) en B (r by d_out), met 'n klein rank r. Die laag bereken

x W + (alpha / r) x A B

A B is 'n volledige d_in by d_out matriks, 'n verandering aan W, maar dit word net uit (d_in + d_out) x r getalle gebou. B begin by nul, so aan die begin is die model presies die oorspronklike een.

Die GPT het vier gewigmatrikse in elk van sy 2 blokke: qkv (64 by 192), o (64 by 64), w1 (64 by 256) en w2 (256 by 64). Kyk na die toneel, tel dan.

Woorde en simbole in hierdie les
LoRA
low-rank aanpassing: 'n bevrore gewigmatriks plus twee dun aanpasbare wyse, x W + (alpha / r) x A B
rang (r)
hoe dun LoRA se twee matrices is: (d_in + d_out) x r trainbare gewigte per matrix
Jou beurt

Skryf lora_weights(shapes, r): die aantal aanpasbare gewigte wat LoRA byvoeg vir 'n lys van (d_in, d_out) vorms by rang r. Vul shapes met die GPT se 8 teikenmatrikse, stel dan counts vir rangs 1, 4, 16 en 64, en overtakes: die kleinste van daardie rangs waarby LoRA meer gewigte as die hele model (107,072) aanpas.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.